こんにちは、 @kz_morita です。 Snowflake の SQL を書いてる時に、調べて便利だった Tips をまとめます。 EQUAL_NULL Snowflake では、= 演算子で値を比較できますが値が null の場合は結果も null になります。 null どうしなどを比較したい場合は、EQUAL_NULL 関数が便利です。 select'hoge'='hoge','hoge'=null,null='hoge',null=null,equal_null('hoge','hoge'),equal_null('hoge',null),equal_null(null,'hoge'),equal_null(null,null)結果は以下のようになります。 ‘HOGE’ = ‘HOGE’ ‘HOGE’ = NULL NULL = ‘HOGE’ NULL = NULL EQUAL_NULL(‘HOGE’, ‘HOGE’) EQUAL_NULL(‘HOGE’, NULL) EQUAL_NULL(NULL, ‘HOGE’) EQUAL_NULL(NULL, NULL) TRUE null null null TRUE FALSE FALSE TRUE null どうしの比較などを行うことができます。 ARRAY_UNIQUE_AGG ARRAY_AGG 関数を使うと、グループ化した結果を配列で取得できますが、重複を取り除く ARRAY_UNIQUE_AGG 関数が便利です。 selectgroup_key,array_agg(value)asnon_unique_arr,array_distinct(array_agg(value))asunique_arr,arrray_unique_agg(value)asunique_arr2fromtable_namegroupby1今まで ARRAY_UNIQUE_AGG 関数は存在を知らなかったので、ARRAY_DISTINCT も使っていましたがこちらの方が便利です。

こんにちは、 @kz_morita です。 Python のパッケージ管理ツールである pip で、依存関係を解決してパッケージをインストールする方法についてメモします。 --upgrade-storategy オプション 依存関係もまとめてアップデートするには、--upgrade-storategy オプションを使います。 $ pip install --upgrade --upgrade-strategy eager <パッケージ名> ちなみに、--upgrade-strategy オプションには以下の値が指定できます。 only-if-needed: 依存関係のアップデートは行わない eager: 依存関係も含めてアップデートする デフォルトは、only-if-needed です。 まとめ 今回は pip の --upgrade-strategy オプションを使って、依存関係も含めてパッケージをアップデートする方法について紹介しました。 あまり使う機会なさそうですが、依存関係を含めてアップデートしたい場合に覚えておくと良さそうです。

こんにちは、 @kz_morita です。 またまた、jq を使う際の Tops についての記事です。 JSON の値を更新したり、追加したりする方法について書いていきます。 代入演算子と更新演算子 jq には、代入演算子 (=) と更新演算子 (|=) があります。 { "name": "Alice", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } この JSON に対して、name を更新する場合、代入演算子を使うと以下のようになります。 $ cat sample.json | jq '.name = "Hoge"' { "name": "Hoge", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } 更新演算子でも同様に更新できます。

こんにちは、 @kz_morita です。 今回は jq を使っていて、Json の null が入っているカラムを削除したいときの Tips をメモしておきます。 値が null のフィールドを削除する 以下のようにすると、null のフィールドを削除できます。 $ cat sample.json | jq 'to_entries | map(select(.value != null)) | from entries' 以下解説です。 まず今回の対象の json は以下のようなものです。 { "name": "Alice", "age": null, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true, "preferences": null } これが上記のコマンドを使用すると以下のようになります。 { "name": "Alice", "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } preferences と age カラムが消えていることがわかります。

こんにちは、 @kz_morita です。 python で文字列を指定した区切り文字で分割できる split 関数がありますが、空文字の時の挙動に気づかずバグを生んでしまっていたのでメモです。 空文字の時の挙動 split 関数は以下のような使い方をします。 >>> "a,b,c".split(",") ['a', 'b', 'c'] 環境変数からカンマ区切りの値を取得してそれを配列に展開する以下のようなコードを書いてました。 server_names = os.getenv("SERVER_NAMES").split(",") for server_name in server_names: # サーバーごとの処理 環境変数に何も渡さない (空文字を渡した) ときに、for 文の中身が実行されないことを期待していたのですが実際には期待せずに実行されてしまいエラーになってました。 これは空文字を split すると空文字が要素の配列を返すことによるものでした。 >>> "".split(",") [''] 空文字の配列を許したくなければ、リストを空文字以外でフィルタリングしてあげればよさそうです。 server_names = [i for i in os.getenv("SERVER_NAMES").split(",") if not i == ''] 上記はリスト内法表記を使ったフィルタリングですが、これで意図しない空文字が配列として登録されるのを防ぐことができます。 まとめ 今回は python の split 関数の空文字の時の挙動について書きました。 ちゃんと使用する関数の挙動を把握しておかないと思わぬところで不具合でがちです。特に普段あまり触らない言語などでは、ちゃんと仕様確認をすべきだなと反省したので戒めとしての記事を残しておきます。

こんにちは、 @kz_morita です。 MySQL で変数を活用することができますが、LIKE に指定するときにちょっと工夫が必要だったのでメモです。 LIKE 句に変数を使う mysql では、SET 構文を使って変数を定義できます。 SET@WORD='test';以下のような LIKE 句に、変数を使用したいケースですがよくあるプログラミング言語のように文字列の中での変数展開などが MySQL では行われなさそうなため工夫が必要です。 SET@WORD='test';SELECT*FROMusersWHEREprofileLIKE'%@WORD%';上記はユーザーのプロフィール文から特定の文字列を含むユーザーを抽出するというようなサンプルのクエリになります。 以下の部分で、変数展開などが行われないためクォートのなかに変数を書く方式では期待した結果は得られません。 WHEREprofileLIKE'%@WORD%';-- 変数展開されないので意図した結果にならない LIKE 句で使うためには、CONCAT で変数をつなぐ必要があります。 SET@WORD='test';SELECT*FROMusersWHEREprofileLIKECONCAT('%',@WORD,'%');まとめ 今回は、MySQL のちょっとした Tips として、変数を LIKE 句で使う方法をまとめました。 普段の業務では、Presto (Athena) や MySQL など異なる種類の SQL を書くこともありこのようなちょっとした構文の書き方度忘れすることが多いので忘れ手もよいようにメモしておきます。

こんにちは、 @kz_morita です。 普段 git を使って開発を行っているのですが、気がつくとローカルに既に使われていないブランチがたくさん溜まってしまったりしがちです。 今回はそれらのブランチお掃除系で普段よく使うために、snippet 化している git コマンドを紹介します。 3 つのコマンド 今回は、以下の 3 つのお掃除コマンドを順に紹介します。 マージ済みブランチの削除 リモートで消されたブランチを、ローカルのリモートブランチに反映 削除されたリモートブランチと同じローカルブランチを削除 マージ済みのブランチを削除する 特定のブランチマージ済みのブランチを一括で削除します。 ここでは、master と develop ブランチマージされているローカルブランチ一括で削除しています。 $ git branch --merged | egrep -v "\*|master|develop" | xargs git branch -D # formatted $ git branch --merged \ | egrep -v "\*|master|develop" \ | xargs git branch -D dry-run $ git branch --merged | egrep -v "\*|master|develop" # formatted $ git branch --merged \ | egrep -v "\*|master|develop" 解説 git branch --merged を打つと以下のようなマージ済みのブランチ一覧が取得できます。

背景 Google スプレッドシートは普段業務などでよく使うかと思います。 私も、バグのチケット管理やタスク管理などで用いることがあります。 スプレッドシートにはフィルター機能があるのですが、普通にフィルターをかけてしまうと全ユーザーのスプレッドシートがフィルタリングされてしまいます。 たとえば、タスク管理で自分のタスクだけ表示させておきたいといった場合に他の人もそのフィルターの影響を受けてしまします。 当然スプレッドシートには個別にフィルタリングできる機能が用意されているのですが、意外と知らない方が多かったのでその方法をまとめます。 方法 今回は以下のようなスプレッドシートを対象に考えます。 データ > フィルタ表示 > 新しいフィルタ表示を作成 すると以下のような黒色でフィルタ表示がされます。 名前がつけられるので、なに用のフィルタか記載しておくとよいでしょう。 （今回は田中タスク確認用と入力しました） この状態で、田中さんのタスクだけ確認しようとしてみると以下のようになります。 このようにすると他のユーザーに影響を与えず好きにフィルタリングすることができます。 まとめ スプレッドシート便利なので、こういったフィルタなども駆使してどんどん業務効率化していきましょう！ 🍻