こんにちは、 @kz_morita です。 DynamoDB のキャパシティユニットについて調べたのでまとめます。 DynamoDB のキャパシティユニットについて DynamoDB の料金体系の一つとして、キャパシティユニットという単位での料金課金があります。 キャパシティユニットは以下のような基準で消費されます。 Read 読み込みのキャパシティユニットは、読み込むDynamoDB のアイテム 4KB ごとに消費されます。 また、読み込みには以下の種類があり、それぞれ消費するユニットが違います。 (デフォルトは、結果整合性のある読み込みです。) 種類 消費ユニット 強力な整合性のある読み込み 1 トランザクション読み込み 2 結果整合性のある読み込み 0.5 たとえば 1 Item のデータサイズが 6KB で、結果整合性のある読み込みをするとすると 1 Item を Read するのに 1 unit 消費します。 ceil(6KB / 4KB) * 0.5 = 2 * 0.5 = 1 トランザクション読み込みであれば、 ceil(6KB / 4KB) * 2 = 2 * 2 = 4 となります。

こんにちは、 @kz_morita です。 CDC (Change Data Capture) といわれる技術について調べたのでメモです。 CDC について CDC: Change Data Caputure は Database などのデータの変更を追跡して、他のシステムやサービスに対して通知したりデータを流したりする仕組みの総称です。 たとえば、RDB の変更されたデータを Stream キュー などに流して後続の処理を実行するといった使い方ができます。 データベース以降の処理をイベント駆動のアーキテクチャにすることができるため、Stream 処理パイプラインなどとの親和性が高いように思います。 また、データのレプリケーションなども用途の一つにはいるかと思います。 たとえば、AWS の RDS から別のデータソースにリアルタイムでデータをレプリケーションしたいといったケースにも使用できそうです。 参考 変更データキャプチャとは Change Data Capture とは? 実現するための技術 CDC を実現するための技術としていくつかあります。 debezium debezium は、Java 性の OSS の CDC を実現するための技術です。 基本的に、Kafka というストリーム処理プラットフォームのコネクター (Kafka Connect) として実装されているため、DB から Kafka Stream のキューに流すといったユースケースでは使えそうです。 また、以下の記事で紹介されているように Embedded といわれる仕組みを使うと任意の Java コードを埋め込めるため、たとえば Amazon Kinesis にデータを流すなどある程度自由な事ができそうです。

こんにちは、 @kz_morita です。 このブログは S3 + CloudFront の環境に移行してからはローカルで deploy スクリプトを叩く方式をとっていました。 今回 AWS の CodePipeline を用いてデプロイのフローを構築したので手順などをまとめます。 最終的な成果物 最終的には、以下のようなパイプラインを作成しました。 GitHub からソースコードを取得 ソースコードをビルド コードを S3 にデプロイ CloudFront の Cache を Invalidate CodePipeline とは AWS の CodePipeline はパイプラインを作成しソースコードの変更があったときに、ビルドしたりテストしたりデプロイしたりといったフェーズを定義でき、そのフローを自動化することができる AWS のマネージドサービスになります。 このブログでも採用していますが、GitHub の master ブランチにマージ (push) された時に自動でソースコードを取得、ビルド、デプロイをするといったパイプラインが比較的簡単に作成できるのでとても便利です。 具体的な説明は公式サイトを確認してみてください。 https://aws.amazon.com/jp/codepipeline/ Pipeline を CDK で構築する 今回は デプロイのフローを AWS 上に構築するために aws-cdk を用いました。 cdk は、AWS の各種リソースを ソースコードで記述することができるものです。 TypeScript などで記載できバージョン管理なども行えます。（IaC: Infrastructure as Code というやつです） 今回は cdk 自体の解説は行わず、すでに環境が整っている前提とさせてください。