こんにちは、 @kz_morita です。 Git で空コミットを作成する方法について調べたのでメモします。 空コミットを作る方法 Git ではファイル差分がなければ基本的には commit を作成できませんが、 --allow-empty オプションを追加すると差分がなくてもコミットを作成することができます。 $ git commit --allow-empty -m "Commit Message" 空コミットの使い所 なぜ空コミットをしたかったのかというと、Dagster の Branch Deployment 機能を用いて開発環境を作成したかったためです。 現在、Dagster という Data Pipeline の Orchestration ツールを使用しています。Dagster には Branch Deployment という機能があるのですが、実際のワークフローに加え特定の GitHub のブランチをデプロイして、ワークフローを動かせる仕組みとなっています。 私の環境では、Snowflake 上で本番と開発のスキーマを分けていて、Dagster の Branch Deployment 機能を用いて、開発用ブランチのワークフローを Snowflake の開発環境に向けて実行するということを行っています。 Dagster の Branch Deployment 機能は、GitHub の Pull Request を見てデプロイが実行されます。 そうなると開発フローとしては、 実装を行う 開発用ブランチに修正を merge する Dagster の Branch Deployment 機能でデプロイされる 開発用のワークフローを回して、Snowflake の開発用スキーマ上に反映 となります。 このときに、本番環境、つまり main ブランチの内容を定期的に、開発用ブランチにも反映したいのですが、main を開発用ブランチにマージしたタイミングで差分がなくなってしまうと Pull Request が自動で閉じられてしまいます。

この記事は、 datatech-jp Advent Calendar 2023 10日目の記事です。 こんにちは、 @kz_morita です。 今年の 10 月に データエンジニアにコンバートして、最近は dbt や Snowflake 周りをさわっています。 今携わっているシステムに dagster を導入してみるというプロジェクトがあるため自分も触ってみようと思い今回は、Dagster の基礎が学べる Dagster University で入門してみました。 かなり良いチュートリアルだなと思うため、概念を知りたい方やとりあえず入門してみたい方におすすめです。 Dagster について https://dagster.io/ Dagster は Asset ベースの Data Orchestration ツールになります。 Asset を Python コードで定義することで、データの Lineage を見ることができたり 定期実行する Job や、イベントをトリガーとした Job の実行などを管理できるツールです。 さまざまなDB や dbt などとも連携できます。 以下の画像ような Asset Lineage や Job の実行ステータスなどを見ることができます。 Dagster University で実際に作成した画面 Dagster Univerity とは https://courses.