こんにちは、 @kz_morita です。 dbt と Snowflake を使って開発をしていますが、Snowflake の UDF を作成する際に以前は schemachage などで行ってましたが、dbt の on-run-start の hook を用いて管理する方法が良さそうだったのでメモします。 on-run-start の hook で UDF を作成する on-run-start は、dbt_project.yml ファイルで指定することができます。 on-run-start:- '{{ create_udf() }}'以下のようなmacro を用意すると dbt run などの実行前に UDF を作成できます。 {%macrocreate_udf()%}createorreplacefunctionencode_uri_component("STR"VARCHAR)RETURNSVARCHARLANGUAGEJAVASCRIPTAS$$returnencodeURIComponent(STR)$$;{%endmacro%}ちなみに、on-run-start は dbt build, dbt compile, dbt docs generate, dbt run, dbt seed, dbt snapshot, dbt test などの前に発火されるようです。 https://docs.getdbt.com/reference/project-configs/on-run-start-on-run-end まとめ 今回は dbt の hook を使って UDF などを作る方法について書きました。 dbt 管理便利そうなのでしばらく運用しようとしてみようと思います。

こんにちは、 @kz_morita です。 今回は、『 実践 DataOps 』という本を読んだので感想を書いていきます。 書籍について 『実践 DataOps』という書籍で、翔泳社から発売されています。 https://www.shoeisha.co.jp/book/detail/9784798179247 以下目次です。 ◆Part 1 DataOps序論 ・Chapter 1 データサイエンスの問題点 ・Chapter 2 データ戦略 ◆Part 2 DataOpsの実践に向けて ・Chapter 3 リーンシンキング ・Chapter 4 アジャイルなコラボレーション ・Chapter 5 効果測定とフィードバックの仕組み作り ◆Part 3 さらなるステップ ・Chapter 6 信頼の構築 ・Chapter 7 DataOpsへのDevOpsの適用 ・Chapter 8 DataOps実現のための組織作り ◆Part 4 セルフサービス型組織 ・Chapter 9 DataOpsで用いるテクノロジー ・Chapter 10 DataOpsの導入手順 感想など この書籍では、データを利用したプロダクトを開発する際にどのように DataOps を実現していけばよいかという点について網羅的にかかれていました。 たとえば、データプロダクトを作る際にどのようにデータを取り扱っていけばよいかについて書かれています。 既存のツールなども紹介されていましたが、それだけではなく、チーム間でどのようにコラボレーションしていけばよいかという観点やまず何から始めていけばよいかという点が書かれていたのが参考になりました。 書籍の中で、 DataOps マニフェストが紹介されています。 https://dataopsmanifesto.org/ja/ データサイエンス、データエンジニアリング、データ管理、ビッグデータ、ビジネスインテリジェンスなどと呼ばれるものを問わず、当社は分析において以下のようなことを重視するようになりました。

こんにちは、 @kz_morita です。 5/26 にオフラインで開催された技術書典 16 にサークル参加してきました。 今回は、同僚の方に誘われてボードゲームを制作して頒布してみて、面白かったので内容を書いていこうと思います。 以下のサークルに参加しました。 極地分析所 ボードゲーム制作 きっかけは、同僚の方にデータエンジニアリング関連でボードゲームを制作する予定だけど興味あります？といったお誘いでした。 たしかその時はなんとなくボードゲームを作成したいといった内容しか決まっていなく、じゃあ実際に何を作ろうかおというところから話し合いを行うことになりました。 どんなボードゲームを作るかという点も決めるために、最初にチームのみんなとボードゲームで遊んだりしてイメージを膨らませました。 自分は全くしらなかったのですが、 ボードゲームアリーナ というサイトがあるそうで、数多くのボードゲームをオンラインで遊ぶことができます。 オンライン飲み会とかでこの辺りで遊ぶの楽しそうだなと思いました。 色々考えた結果、 ボードゲーム自体のルールなどはシンプルなほうが良い 既存ゲームにデータエンジニアリング関連のニュアンスを追加する といった方針が決まり、データ系の職種を集めてプロジェクトを成功させるという世界観の麻雀のようなゲームになりました。 主にみんなで、牌の種類（役職）や、上がり役、特別なカード (知識カード、イベントカード)、そのほか細かいルールなどを考えていきました。 各カードにはフレーバーテキストが書かれているのですが、全カードダブりなく別々のフレーバーテキストを載せました。 この時に ChatGPT など、流行りの生成AI をフル活用しました。100 パターン近くのテキストを頭で考えるのは非常に骨が折れるため、これは非常に助かりました。 また、ボードゲームについての解説と紹介されている役職や知識に関する解説を行うガイドブックも同時に執筆しました。 こちらは電子版のみの用意となりました。 そして、ボードゲーム自体の印刷は、ボードゲーム専用の印刷所があるらしくそちらを利用していました。 萬印堂 初めて、ボードゲームを作りましたが、大変だった反面かなり新鮮で面白かったです。 技術書典 16 で売ってみて 当日池袋サインシャインシティへ、制作したボードゲームを引っ提げて参加しました。 ボードゲーム制作費用の関係もあり値段も本に比べるとやや高く、またターゲット層もデータ系の職種でやや狭いということもあり購入してもらえるか心配でした。 しかし、予想よりも反響がありそこそこの数を売ることができました。 ボードゲームということで、面白がって立ち止まってくれる方も多く、いろんな方が話を聞いてくれて非常にありがたかったです。 特にデータエンジニアをやっていたり、データ系の職種として働いている人に結構刺さりがよく、チームで遊んでみます！といった声をいただいたりして非常に嬉しい限りでした。 実際にいただいた声で、確かになーと思ったのは、会社に置いておきたいから解説本も物理本で欲しかったという話や、今リモートで働いているのでオンラインで遊べるようにならないですか？ということがあり、これはむちゃくちゃ確かになーと思ったりしました。 オンライン化結構大変そうですが、作ってみたら面白いかなと思ったのでおもむろに作り出すかもしれません。 まとめ 今回は、技術書典 16 でボードゲームを頒布してみた話を書きました。 ボードゲームをワイワイ作るのも楽しかったですが、実際に購入してくださる方や面白がってくれるととても嬉しいですね。 前回サークル側で参加したのが、技術書典 7 で 2019 年 だったので 5 年ぶりになるのですが非常に楽しかったです。 次は本も執筆して頒布したいなと思いました。 こういうお祭り的なイベント非常に好きなので、来年も参加したいなと思います。

こんにちは、 @kz_morita です。 今回は、 データエンジニアリングの基礎 という本を読んだのでその感想です 書籍について 書籍名は、 『データエンジニアリングの基礎 ―データプロジェクトで失敗しないために』 です。 この本は、2024 年 03 月に日本語訳版が出版されたばかりの本です。 書籍の内容は以下のような感じです。 Ⅰ部　データエンジニアリングの基礎と構成要素 1章　データエンジニアリング概説 1.1　データエンジニアリングとは何か 1.2　データエンジニアリングのスキルと活動 1.3　組織内でのデータエンジニアリング 1.4　結論 1.5　参考資料 2章　データエンジニアリングライフサイクル 2.1　データエンジニアリングライフサイクルとは何か？ 2.2　データエンジニアリングにおける主要な底流 2.3　結論 2.4　参考資料 3章　適切なデータアーキテクチャの設計 3.1　データアーキテクチャとは何か？ 3.2　良いデータアーキテクチャの原則 3.3　主要なアーキテクチャの概念 3.4　データアーキテクチャの例と種類 3.5　データアーキテクチャの設計にかかわるのは誰か 3.6　結論 3.7　参考資料 4章　データエンジニアリングライフサイクルにおけるテクノロジの選択 4.1　チームのサイズと容量 4.2　市場投入までのスピード 4.3　相互運用性 4.4　コスト最適化とビジネス価値 4.5　現在vs.未来：不変テクノロジvs.一過性テクノロジ 4.6　設置場所 4.

こんにちは、 @kz_morita です。 今回は、O’Reilly から洋書で発売されている、『Fundamentals of Data Observability』を読んだのでメモです。 書籍について こちらの本は、2023年の8月に出版されている書籍で、今のところ翻訳された書籍はなさそうです。 https://learning.oreilly.com/library/view/fundamentals-of-data/9781098133283/ 目次は以下のような感じです。 Preface I. Introducing Data Observability 1. Introducing Data Observability 2. Components Of Data Observability 3. Roles Of Data Observability In A Data Organization II. Implementing Data Observability 4. Generate Data Observations 5. Automate The Generation Of Data Observations 6. Implementing Expectations III. Data Observability In Action 7. Integrating Data Observability In Your Data Stack 8.

こんにちは、 @kz_morita です。 今回は、 チームトポロジー という本を読んだので感想などを書いていきます。 書籍について https://pub.jmam.co.jp/book/b593881.html 以下のような目次になっています。 PART I デリバリーの手段としてのチーム Chapter1 組織図の問題 Chapter2 コンウェイの法則が重要な理由 Chapter3 チームファースト思考 PART Ⅱ フローを機能させるチームトポロジー Chapter4 静的なチームトポロジーチームのアンチパターン Chapter5 4つの基本的なチームタイプ Chapter6 チームファーストな境界を決める PART Ⅲ イノベーションと高速なデリバリーのため にチームインタラクションを進化させる Chapter7 チームインタラクションモード Chapter8 組織的センシングでチーム構造を進化させる Chapter9 まとめ:次世代デジタル運用モデル 感想など もともと、Platform Engineering まわりに興味がありその文脈で読み始めました。 書籍では、チームの種別やそのチーム間のインタラクションの種類について紹介されています。 チームの種別 ストリームアラインドチーム プラットフォームチーム イネイブリングチーム コンプリケイテッド・サブシステムチーム チーム間のインタラクションモード コラボレーションモード X-as-a-Service ファシリテーションモード この書籍で初めてチームやその間のインタラクションの名前を知ったのですが、名前があるおかげでチームや組織内でどこを目指していくのかといった意識の統一ができるようになしろうで、とても良いなと感じました。 私は現在データ基盤を開発するチームでデータエンジニアをしていて、他のエンジニアにとって活用できるプラットフォームを作成することがミッションだと思っています。 プラットフォームとして X-as-a-Service として提供する際に重要になりそうな知見がたくさんありました。 特に学びになった部分を以下のような点です。 実際の活用できるプラットフォームにするために、実際の運用フローを正確に捉える 初期はコラボレーションモードでストリームアラインドチームと関わり解像度をあげる ストリームアラインドチームとプラットフォーム間の境界が重要 DDD のコンテキストマップが活用できる 提供する最低限のプラットフォーム (TVP) を特定することが必要 Wiki や簡単なツールなどかもしれない X-as-a-Service ではコミュニケーションは限定的にするべき 提供されたプラットフォームを使用するためにコミュニケーションコストを減らす そのために、ドキュメントの充実は必須 上記のような点について、特にデータエンジニアの文脈だと、データ自体もプロダクトとして使いやすい形で提供するというのと合わせてどう言ったプラットフォームが良いのか考えていく必要がありそうです。

この記事は、 検索エンジンプロダクトを一緒に開発してた同窓会 Advent Calendar 2023 の 17日目の記事です。 こんにちは、 @kz_morita です。 今年の 10 月に転職をし、Data Engineer という職で働き始めました。 いままでの転職でも別ジャンルのエンジニアリングをやることになるケースが多かったのですが、今回もマイナーチェンジという感じです。 もうすぐ 3ヶ月たちそうということで、どんな本を読んだかやどんな本に興味あるかなどをまとめてみようと思います。 こんなおすすめの本もあるよなどあったらぜひ教えてください。 なる前に読んだ本 有給期間とかに遊びほうけながら読んだ本です。 (もうちょい頑張って読めばよかった) データ指向アプリケーションデザイン データを中心に、アプリケーションとそれに関わるさまざまなトピックについて扱われている本です。 660 ページほどあり厚い本ですが、データとアプリケーションについてかなり広いトピックを知ることができるのでおすすめの本です。 実際に転職してからも、社内で話題に上がっていたり輪読会が開かれている気配などを感じていて読んでおいてよかったなーと思いました。 読んだ感想はこちら。 『データ指向アプリケーションデザイン』を読んだ なってから読んだ本 仕事しつつ読み切った本たちです。 データマネジメントが 30 分でわかる本 こちらはデータマネジメントについてちゃんと理解しておきたいという時に最初の一冊として読みました。 後述する DMBOK という本を読む前の一歩として読みました。 内容としては、Data Management の全体雑をざっくりとつかむことができて非常に役立ちました。 とりあえずの第一歩目に読む本としてよかったなと思います。 読んだ感想はこちら。 『データマネジメントが30分でわかる本』を読んだ Snowflakeの歩き方 Snowflake で始めるデータ基盤ガイド 技術書典サイト 仕事で Snowflake を触ることになりそうだったので、転職前に買ったら実は同僚の方が書いていたという本。 実務で触りながら読みました。 Snowflake 完全に初心者の人が、Snowflake の外観をつかむのに非常に役立ちました。 また、Snowflake の周辺のツールなどにも触れられているのがよかったです。 データエンジニアリング周りにはたくさんのツールがあってそれぞれ役割がありますが、実現したい目的が若干オーバーラップしていたりして、最初ツール何がどの目的のものかよくわからん、みたいになってました。 こういったデータエンジニアリングの周辺で扱われているツール群が紹介されているのは非常によかったです。

この記事は、 datatech-jp Advent Calendar 2023 10日目の記事です。 こんにちは、 @kz_morita です。 今年の 10 月に データエンジニアにコンバートして、最近は dbt や Snowflake 周りをさわっています。 今携わっているシステムに dagster を導入してみるというプロジェクトがあるため自分も触ってみようと思い今回は、Dagster の基礎が学べる Dagster University で入門してみました。 かなり良いチュートリアルだなと思うため、概念を知りたい方やとりあえず入門してみたい方におすすめです。 Dagster について https://dagster.io/ Dagster は Asset ベースの Data Orchestration ツールになります。 Asset を Python コードで定義することで、データの Lineage を見ることができたり 定期実行する Job や、イベントをトリガーとした Job の実行などを管理できるツールです。 さまざまなDB や dbt などとも連携できます。 以下の画像ような Asset Lineage や Job の実行ステータスなどを見ることができます。 Dagster University で実際に作成した画面 Dagster Univerity とは https://courses.

こんにちは、 @kz_morita です。 データエンジニアとしてデータ基盤などの開発等を行っていく上で、データマネジメント系の話題が気になっていたのと社内の Slack などでおすすめされていたこともあり、データマネジメント系の勉強会にいくつか参加してみたのでその感想などを書きます。 参加した勉強会 こちらの勉強会に参加しました。 ドメイン駆動データマネジメント #1 データマネジメントのはじめ方 X ハッシュタグ データマネジメントチームのマネジメントの方が難しかった話 X ハッシュタグ どちらもデータマネジメントとその周りの組織周りの話についての話が聞けました。 学びなど どちらの勉強会でも共通していたこととしては以下の２点のように感じました。 データマネジメントは領域が広い データマネジメントと組織の話は切り離せない データマネジメントは領域が広い DMBOK を見てもデータマネジメントがカバーする領域はとても広いなと思います。 そのため、データマネジメントの何から始めるかという点がとても重要そうに感じました。 会の中で出ていたのは以下のような点でした。 DMBOK ピラミッドにしたがってPhase 1 からやる 効果が出そうなところからやる やることが多いからこそ、まずどこからやるのかという優先順位付けが非常に重要だと感じました。 データマネジメントと組織の話は切り離せない データにふれるという観点でいうと、ほぼ全ての人がデータには何らかの関わりをするということを考えると、別部署の人たちとうまく協力することが非常に重要に感じました。 組織的にデータやデータ組織に対する信頼を勝ち取るといった戦略も重要だという視点は、ソフトウェアエンジニアと比べるとかなり広いんじゃないかなと思います。 優先度の話にも繋がりますが、まずは成果がでるところをしっかりとやってデータチームの信頼を得るみたいな話はとても納得感がありました。 また、データマネジメントの成果がなかなか定量的に測りにくく目標設定がむずかしいみたいな話も盛り上がっていた印象でした。 SLA を設けて他の部署の方とデータについての期待値を揃えるみたいな話もありましたが、Software の Observability のような Data Observability といった概念もありこのあたりもキャッチアップしてどのようにデータマネジメントしていくか学んでいきたいと思います。 まとめ 今回は、データマネジメントについての勉強会に参加してきた感想を書きました。 勉強会自体久しぶりなのと、データ関連の勉強始めてだったのでとても楽しかったです。 とりあえず、DMBOK読もうという気になりました。