こんにちは、 @kz_morita です。 先日開催された、技術書典 17 で共著の本をだしました。 Snowflake Start Guide - Snowflake, dbt, Terraform 自分は第 5 章の「データ品質とオブザーバビリティ」を書きました。 内容について簡単に紹介します。 書籍の内容について 以下のような目次の本になります。 第 1 章 データ基盤の基礎 第 2 章 Snowflakeの基礎 第 3 章 Snowflake のセットアップ 第 4 章 データ取り込みと集計 第 5 章 データ品質とオブザーバビリティ 第 1 章から第 4 章までが Snowflake の基本的な使い方やセットアップ方法、データ取り込み方法などが書かれています。この内容をみれば Snowflake を使い始められるようになる内容になっています。 4 章までの内容だけでも非常に充実していて買う価値がありと素直に思います。 自分は第 5 章の「データ品質とオブザーバビリティ」を書いたのですが、データの信頼性を高めるという目的で、 Test と Observability という 2 観点を書きました。 Test では、 dbt で実行できる Test の種別と実際の Test の例を紹介しました。 個人的には、Unit Test がとても便利で特にどのように CI / CD に組み込むのかというテーマが最近興味があります。 データ信頼性という観点でもそうですし、開発効率を上げるための自動化という観点でも興味があります。

こんにちは、 @kz_morita です。 Snowflake 上で Python コードを書くことができるのですが、その際にPython のライブラリ何が使えるのかを調べたのでまとめます。 Snowflake で Python の Package を利用する Snowflake では、あらゆるところで Python のコードを書くことができます。 たとえば、Function (User Defined Function) や Procedure などで使うことができます。 Python UDFsの紹介 Python でのストアドプロシージャ Python といえば、numpy などのライブラリですが、これらは基本的に Snowflake 上で使用することができます。 実際にどの Package が使えるかは、anaconda の package のリポジトリサイトから閲覧することができます。 https://repo.anaconda.com/pkgs/snowflake/ 見てみると、 numpy pandas boto3 など基本的な Package は使用できるみたいです。 また、自作の Package なども Snowflake の Stage にアップロードすることで使えるようになります。 https://docs.snowflake.com/ja/developer-guide/udf/python/udf-python-creating#label-udf-python-stage ちなみに、Python 以外にも、Java, JavaScript, Python, Scala などを使用することができるため、既存の資産を使いつつ Snowflake 側でデータ処理を行うことができそうです。