blog.foresta.meこんにちは、 @kz_morita です。
先日開催された、技術書典 17 で共著の本をだしました。
自分は第 5 章の「データ品質とオブザーバビリティ」を書きました。 内容について簡単に紹介します。
書籍の内容について
以下のような目次の本になります。
第 1 章 データ基盤の基礎
第 2 章 Snowflakeの基礎
第 3 章 Snowflake のセットアップ
第 4 章 データ取り込みと集計
第 5 章 データ品質とオブザーバビリティ
第 1 章から第 4 章までが Snowflake の基本的な使い方やセットアップ方法、データ取り込み方法などが書かれています。この内容をみれば Snowflake を使い始められるようになる内容になっています。 4 章までの内容だけでも非常に充実していて買う価値がありと素直に思います。
自分は第 5 章の「データ品質とオブザーバビリティ」を書いたのですが、データの信頼性を高めるという目的で、 Test と Observability という 2 観点を書きました。
Test では、 dbt で実行できる Test の種別と実際の Test の例を紹介しました。 個人的には、Unit Test がとても便利で特にどのように CI / CD に組み込むのかというテーマが最近興味があります。 データ信頼性という観点でもそうですし、開発効率を上げるための自動化という観点でも興味があります。
Observability では、Snowflake Trail という比較的新しい機能の紹介をしました。 データパイプラインの Observability は重要そうだなと日頃から感じています。たとえばデータに問題が発生した際にどこで問題が起きているか調査することは規模が大きくな流ほど難しくなります。 Observability はその問題を解決するための非常に手段の一つだと考えています。
データの信頼性を高めるための手段については、興味があるため今後も模索していきたいと思っています。
まとめ
今回は技術書典 17 で出版した本を紹介しました。同じサークルの方は Snowflake の界隈で非常に有名でかつ第一線で活躍されている方々で、お誘いいただいて非常に光栄でした。
また、まとまった文書を書く機会はそこまで多くないので非常に学びになりました。また、機会があれば執筆したいなと思います。