こんにちは、 @kz_morita です。 ShellScript を書く際のちょっとした Tips を書きます。 Tips シェルスクリプトを書く時に先頭に必ず書くコードがあります。 以下のようなコードです。 #!/bin/bash set -eu DIR=$(cd $(dirname $0);pwd) 順番に説明します。 まずは以下です。 set -eu これは、set -e と set -u を同時に指定しています。 それぞれ以下のような効果があります。 set -e シェルスクリプトがエラーで終了するようにします。、コマンドがエラーで終了した場合、それ以降のコマンドは実行されません。 set -u 未定義の変数を使おうとするとエラーになります。 これらは基本的に指定しておくと良いと思います。想定していない値で処理が進んでしまうことを防げます。 次に以下の部分です。 DIR=$(cd $(dirname $0);pwd) こちらは、スクリプトが配置されているディレクトリへ移動し、そのディレクトリのパスを取得しています。 まず、$0 は実行されたシェルスクリプトのパスが格納されています。 dirname で実行中のファイルが格納されているディレクトリ名を取得します。 cd でそのディレクトリに移動します。そして、pwd でそのディレクトリのパスを取得しています。 使い所としては、ShellScript から他のファイルを参照している場合などに便利です。 必ず処理の最初にスクリプトのある場所へ移動しておけば、 $ ./bin/script.sh $ ./script.sh などどのようなパスから呼ばれてもかならずシェルスクリプトのあるディレクトリからの相対パスでファイルを参照できます。 まとめ 今回は SehllScript の Tips を書きました。ちょっとした処理の自動化などにまだまだ便利なためよく使っています。 ShellScript を使おうとする方の参考になれば幸いです。

こんにちは、 @kz_morita です。 今回は、『 チーム・ジャーニー 逆境を越える、変化に強いチームをつくりあげるまで 』という本を読んだので、その感想を書いていきたいと思います。 書籍につい 『チーム・ジャーニー 逆境を越える、変化に強いチームをつくりあげるまで』という書籍で翔泳社から発売されています。 https://www.shoeisha.co.jp/book/detail/9784798163635 推薦のことば ・私たちは他者を必要としている｜宇田川元一 ・その先へ！Beyond the Agile｜新井剛 第1部　僕らが開発チームになるまで─1チームのジャーニー □単一チーム 基本編 ・第01話｜グループでしかないチーム ・第02話｜一人ひとりに向き合う ・第03話｜少しずつチームになる ・第04話｜チームのファーストを変える □単一チーム 応用編 ・第05話｜チームをアップデートする ・第06話｜分散チームへの適応 ・第07話｜チームの共通理解を深める ・第08話｜一人の人間のようなチーム 第2部　僕らがプロダクトチームになるまで─複数チームによるジャーニー □複数チーム 基本編 ・第09話｜塹壕の中のプロダクトチーム ・第10話｜チーム同士で向き合う ・第11話｜チームの間の境界を正す ・第12話｜チームの境界を越えてチームをつくる □複数チーム 応用編 ・第13話｜チームとチームをつなげる ・第14話｜クモからヒトデに移行するチーム ・第15話｜ミッションを越境するチーム ・第16話｜ともに考え、ともにつくるチーム 付録　リーン・ジャーニー・スタイルのプロダクト開発 書籍としては全体的に、ストーリー仕立てになっていてチームがチームとして機能するためのどのように成長するかという物語が書かれています。 感想など 書籍を読むきっかけとしては、今のチームの PdM の方におすすめだよと教えてもらったのがきっかけでした。 書籍を通してですが、チームが機能してくまでの過程をストーリー仕立てで読めるので非常に面白かったです。 また、チームの成熟度に応じてチームの課題に対してどのように対処していくかという形式で話が進みます。 特に登場人物やチームの問題の解像度が非常に高く、あぁこんな人いたなぁとかこんな問題よくあるよなぁというのが非常に共感できる部分が多かったです。 そのため、今自分が所属しているチームがどのくらいの段階にあるのかというのを考えながら読むことができるのがよかったです。 載っている内容も非常にいいことが多く、たとえばワークショップ症候群になるなという話などもでてきて刺さる部分が多かったです。 ワークショップ症候群とは、ドラッガー風エクササイズなどワークショップをやったことで問題が解決したと思い込んでしまうことを指します。 こういった話は非常にリアリティがあり、とりあえずワークショップをやろうとするのはよくあるよなぁと反省しながら読み進めました。 ストーリー仕立てとはいえ、リアリティが非常に高いので今のチームの状況と照らし合わせながら読むことでどういう改善ができるかということに非常に役立ちそうです。 チームについて考える時に、この本をリファレンスとして問題に立ち向かっていけそうだなと思います。 今の自分にとってとても学びがある本でした。

こんにちは、 @kz_morita です。 ソフトウェア開発で必要なシステム設計のスキルを学ぶのに良さそうな学習リソースとして、System Design Primer という GitHub リポジトリがあります。 ざっと目を通した感じかなり良さそうだったので紹介します。 The System Design Primer system-design-primer という GitHub リポジトリにシステム設計の学習に役立つ情報がまとめられています。 こちら日本語版もあります。 システム設計入門 内容としては、システム設計についての知識やコーディング面接でシステム設計を問われた時の考え方などが記載されています。 トピックとしては以下のようなものがあります。 パフォーマンス、スケーラビリティ、レイテンシー、スループットなど CAP理論について 一貫性のパターン レプリケーションやフェイルオーバーなど キャッシュについて DB, Application などレイヤーごとの設計 他にも、システム設計の面接問題の例題が記載されています。 たとえば、以下のような問題があります。 Dropbox のようなファイル同期サービスを設計する Twitter のトレンド機能の設計 実際のサービスの設計について考えるための参考になるリンクなどを記載されていてかなり良さそうです。 他にも、有名企業の TechBlog などのリンクも記載されています。 全体的にこれらの企業に面接を挑むためのドキュメントとして書かれていますが、そうでない場合でも非常に有用な知識が得られると思います。 まとめ 今回 System Design Primer という GitHub リポジトリを紹介しました。全然読めてないのですがこちらかなり良さそうなので読み進めようと思います。

こんにちは、 @kz_morita です。 先日開催された、技術書典 17 で共著の本をだしました。 Snowflake Start Guide - Snowflake, dbt, Terraform 自分は第 5 章の「データ品質とオブザーバビリティ」を書きました。 内容について簡単に紹介します。 書籍の内容について 以下のような目次の本になります。 第 1 章 データ基盤の基礎 第 2 章 Snowflakeの基礎 第 3 章 Snowflake のセットアップ 第 4 章 データ取り込みと集計 第 5 章 データ品質とオブザーバビリティ 第 1 章から第 4 章までが Snowflake の基本的な使い方やセットアップ方法、データ取り込み方法などが書かれています。この内容をみれば Snowflake を使い始められるようになる内容になっています。 4 章までの内容だけでも非常に充実していて買う価値がありと素直に思います。 自分は第 5 章の「データ品質とオブザーバビリティ」を書いたのですが、データの信頼性を高めるという目的で、 Test と Observability という 2 観点を書きました。 Test では、 dbt で実行できる Test の種別と実際の Test の例を紹介しました。 個人的には、Unit Test がとても便利で特にどのように CI / CD に組み込むのかというテーマが最近興味があります。 データ信頼性という観点でもそうですし、開発効率を上げるための自動化という観点でも興味があります。

こんにちは、 @kz_morita です。 Python のパッケージ管理ツールである pip で、依存関係を解決してパッケージをインストールする方法についてメモします。 --upgrade-storategy オプション 依存関係もまとめてアップデートするには、--upgrade-storategy オプションを使います。 $ pip install --upgrade --upgrade-strategy eager <パッケージ名> ちなみに、--upgrade-strategy オプションには以下の値が指定できます。 only-if-needed: 依存関係のアップデートは行わない eager: 依存関係も含めてアップデートする デフォルトは、only-if-needed です。 まとめ 今回は pip の --upgrade-strategy オプションを使って、依存関係も含めてパッケージをアップデートする方法について紹介しました。 あまり使う機会なさそうですが、依存関係を含めてアップデートしたい場合に覚えておくと良さそうです。

こんにちは、 @kz_morita です。 Snowflake 上で Python コードを書くことができるのですが、その際にPython のライブラリ何が使えるのかを調べたのでまとめます。 Snowflake で Python の Package を利用する Snowflake では、あらゆるところで Python のコードを書くことができます。 たとえば、Function (User Defined Function) や Procedure などで使うことができます。 Python UDFsの紹介 Python でのストアドプロシージャ Python といえば、numpy などのライブラリですが、これらは基本的に Snowflake 上で使用することができます。 実際にどの Package が使えるかは、anaconda の package のリポジトリサイトから閲覧することができます。 https://repo.anaconda.com/pkgs/snowflake/ 見てみると、 numpy pandas boto3 など基本的な Package は使用できるみたいです。 また、自作の Package なども Snowflake の Stage にアップロードすることで使えるようになります。 https://docs.snowflake.com/ja/developer-guide/udf/python/udf-python-creating#label-udf-python-stage ちなみに、Python 以外にも、Java, JavaScript, Python, Scala などを使用することができるため、既存の資産を使いつつ Snowflake 側でデータ処理を行うことができそうです。

こんにちは、 @kz_morita です。 今回は英語の文書や書籍を読むときに使用しているツールを2つ紹介します。 DeepL https://www.deepl.com/ 有名なツールですが、翻訳をするのに DeepL を使っています。 DeppL は DeepL Pro Starter プランを課金して使っています。 課金しているのは、pdf ファイルをそのまま翻訳する機能が非常に良いなと思ったからです。 普段、pdf は Kindle Scribe で読んでます。 Kindle Scribe を 1 年くらい使ってみたので感想など そうなると Kindle で翻訳をしながら読んでいくのがしんどいです。 そのため翻訳済みのものが pdf などになっていると Send to Kindle で Kindle へ送り読むことができ、とてもはかどります。 NotebookLM https://notebooklm.google.com/ こちらは pdf などを読み込ませるとそれに対して質問などがなげられる生成AIです。 こちら英語の文書を読み込ませて、日本語で質問してもいい感じに答えてくれるので愛用しています。 注意点としては、著作権についてで、一応自分は公開されているもの以外では今のところ活用していません。 著作物の扱いについては考慮して使う必要がありそうです。 まとめ 英語の文書を読む機会は、技術の公式ドキュメントなども合わせるとかなり増えましたが、いろいろなツールがでていてそれらを使うと効率的に読めるため非常に便利です。 うまく使ってたくさんの Input をしていきたいと思っています。

こんにちは、 @kz_morita です。 今回は、名著と名高い『A Philosophy of Software Design』を読んで内容もとても良かったので、メモします。 書籍について 『 https://www.amazon.co.jp/-/en/John-Ousterhout/dp/1732102201 』という本で、2018 年 に初版が発売され、2021 年に第2版が発売された歴史ある本です。 以下のような目次になっています。 Preface 1 Introduction 2 The Nature of Complexity 3 Working Code Isn’t Enough 4 Modules Should Be Deep 5 Information Hiding (and Leakage) 6 General-Purpose Modules are Deeper 7 Different Layer, Different Abstraction 8 Pull Complexity Downwards 9 Better Together Or Better Apart? 10 Define Errors Out Of Existence 11 Design it Twice 12 Why Write Comments?

こんにちは、 @kz_morita です。 社内のドキュメントについて色々と調べていたときに Diátaxis というフレームワークがあるのを知ったので紹介します。 Diátaxis について Diátaxis はテクニカルドキュメントのフレームワークです。 Diátaxis 以下の４つの構造からなります。 TUTORIALS HOW-TO GUIDES REFERENCE EXPLANATION TUTORIALS いわゆるチュートリアルです。 実際に手を動かして、学ぶコンテンツになります。 内容を詳細に説明するというよりは、説明したい対象を理解するために手を動かして学ぶ系のコンテンツです。 HOW-TO GUIDES ある特定の問題や、結果に向かっての手順などを示すものです。TUTORIALS が学習に重きをおいていたのに対し、HOW-TO GUIDES は目的指向です。 〇〇する方法といった形で、実現したい目標に対してどのように達成するかの手順を示します。 システムを使用するユーザー目線でのユースケースについて書かれます。 REFERENCE REFERENCE はシステムの技術的な説明と操作方法を記載します。 こちらは情報指向で、よくある API Reference などがこちらに当たります。 こちらが満たすべきこととしては、曖昧さがなく明確なことや、意見などを含まず中立的に書かれていることです。 EXPLANATION EXPLANATION は、システムの理解を深めるために記載されます。 システムについてより詳しく理解するために、談話的に書かれます。 ちなみに公式サイトには、 (one could say, explanation is the only kind of documentation that it might make sense to read in the bath) と書かれていて、お風呂の中で読むのに唯一価値があるものとありました。

こんにちは、 @kz_morita です。 Git で空コミットを作成する方法について調べたのでメモします。 空コミットを作る方法 Git ではファイル差分がなければ基本的には commit を作成できませんが、 --allow-empty オプションを追加すると差分がなくてもコミットを作成することができます。 $ git commit --allow-empty -m "Commit Message" 空コミットの使い所 なぜ空コミットをしたかったのかというと、Dagster の Branch Deployment 機能を用いて開発環境を作成したかったためです。 現在、Dagster という Data Pipeline の Orchestration ツールを使用しています。Dagster には Branch Deployment という機能があるのですが、実際のワークフローに加え特定の GitHub のブランチをデプロイして、ワークフローを動かせる仕組みとなっています。 私の環境では、Snowflake 上で本番と開発のスキーマを分けていて、Dagster の Branch Deployment 機能を用いて、開発用ブランチのワークフローを Snowflake の開発環境に向けて実行するということを行っています。 Dagster の Branch Deployment 機能は、GitHub の Pull Request を見てデプロイが実行されます。 そうなると開発フローとしては、 実装を行う 開発用ブランチに修正を merge する Dagster の Branch Deployment 機能でデプロイされる 開発用のワークフローを回して、Snowflake の開発用スキーマ上に反映 となります。 このときに、本番環境、つまり main ブランチの内容を定期的に、開発用ブランチにも反映したいのですが、main を開発用ブランチにマージしたタイミングで差分がなくなってしまうと Pull Request が自動で閉じられてしまいます。

こんにちは、 @kz_morita です。 jq で正規表現を使う方法について書いていきます。 jq での正規表現 今回も以下のような JSON を対象にします。 { "name": "Alice", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } jq には以下のような正規表現を使える関数が用意されています。 test match capture scan split sub gsub たとえば、正規表現にマッチするかどうか見たい場合は以下のように test 関数をつかうことができます。 $ cat sample.json | jq '.phoneNumbers[].number | test("^\\d{3}-\\d{4}$")' true 置換をしたい場合は jq の関数に、sub と gsub が用意されていてこれで正規表現を用いることができます。 たとえば、streent の最後の St を削除するような置換の例は以下のようにかけます。 $ cat sample.

こんにちは、 @kz_morita です。 日頃エンジニアの業務をしていると、ちょっとしたログファイルを解析したり、JSON ファイルの中身を検索したりなどそういったテキスト処理の作業が発生することがあります。 ちょっとした作業であれば VSCode などでファイルを開いて検索したり、置換したりすること解決できることが多いですがその際に正規表現を使うとかなり便利なことが多いです。 実際によくやる例 以下のような JSON ファイルがあるとします。 { "project": { "id": "12345", "name": "Sample Project", "description": "This project demonstrates JSON structure. More details are at https://example.com.", "created_at": "2024-09-08T12:34:56Z", "owner": { "name": "John Doe", "email": "john.doe@example.com", "profile": "Visit John's blog at https://johndoe.example.com." } } } いくつか URL 文字列があるのでそれを抽出したいとします。 URLが専用のカラムにあれば、 jq などを使ってそのフィールドを抽出すれば良いですが上記みたいに文字列の中に埋め込まれている場合などには単純に抽出することが難しいです。 上記の例で example.com のドメインを検索するためには、以下のような正規表現を使うことができます。 (完全な正規表現ではないですが、簡単な例としてます) ^.*https://.*example\.com.*$ 下記のように対象の列を取り出せます。 正規表現の例 かりに、URLが含まれない行は削除してみたいとなったら以下のように否定系に正規表現を修正して置換すると実現できます。 ^(?!.*https://.*example\.com.*).*$ 否定系にすると example.com ドメイン以外の行のみをマッチできるので、これを削除するように置換できます。

こんにちは、 @kz_morita です。 Software Engineer として何かを学ぶ際や、なにかを学んでもらう際に、Roadmap があると非常に助かるなぁと思っていたのですが、 roadmap.sh というサイトが非常に便利だったので紹介します。 roadmap.sh とは roadmap.sh は、Developer が学ぶべきことを Roadmap としてまとまっているサイトです。 実際にアクセスしてもらうと色々な開発の分野についてさまざまな Roadmap がまとめられています。 たとえば、Frontend Developer の Roadmap をみると、最初に Internet について学び、その後に HTML, CSS, JavaScript といった基本的な技術を学び、その後には Git などの VCS や npm などのパッケージマネージャー、そして Framewrk についてなどさまざまな分野が Roadmap としてまとめられています。 https://roadmap.sh/frontend こういったロードマップは初学者にとってとても助かる情報だなと思っています。 自分が初学者のころは、その分野の全体像がわからないため、何を学べば良いのかというのがわからないことが多かったです。 全体像がなんとなくでもわかっていると、何から学ぶかといった戦略が立てられるようになるため新しい分野に挑戦する際には非常に助かると思います。 また、すでにその分野で働いている人にとっても、あとどんな分野を学べば良いのかといった自分の現在地のようなものを確認することができるため、自分のスキルアップのための戦略を立てることができると思います。 また、roadmap.sh の良いところとして、公式の Roadmap 意外にも、Coummunity によって作成された Roadmap も公開されているため、さまざまな分野の Roadmap が公開されているところです。 たとえば、以下のような分野の Roadmap が公開されていました。 LLM Engineer Infrastructure Architect Web Scraping ニッチなところもあったりするので、色々と見てみるだけでも楽しめると思います。

こんにちは、 @kz_morita です。 またまた、jq を使う際の Tops についての記事です。 JSON の値を更新したり、追加したりする方法について書いていきます。 代入演算子と更新演算子 jq には、代入演算子 (=) と更新演算子 (|=) があります。 { "name": "Alice", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } この JSON に対して、name を更新する場合、代入演算子を使うと以下のようになります。 $ cat sample.json | jq '.name = "Hoge"' { "name": "Hoge", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } 更新演算子でも同様に更新できます。

こんにちは、 @kz_morita です。 前回 に引き続き jq の Tips です。 今回は、jq を使って大文字小文字を変換する方法を紹介します。 大文字・小文字の変換 jq で大文字・小文字の変換をするには、ascii_upcase と ascii_downcase を使います。 以下のような JSON データを例にして考えます。 { "name": "Alice", "age": 20, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true, } 大文字の name カラムを抽出するためには以下のようにします。 $ cat sample.json | jq '.name | ascii_upcase' 小文字の場合は以下です。 $ cat sample.json | jq '.name | ascii_downcase' おまけ。その他の文字列処理 jq には他にも文字列処理に便利な関数があります。 $ cat sample.

こんにちは、 @kz_morita です。 今回は jq を使っていて、Json の null が入っているカラムを削除したいときの Tips をメモしておきます。 値が null のフィールドを削除する 以下のようにすると、null のフィールドを削除できます。 $ cat sample.json | jq 'to_entries | map(select(.value != null)) | from entries' 以下解説です。 まず今回の対象の json は以下のようなものです。 { "name": "Alice", "age": null, "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true, "preferences": null } これが上記のコマンドを使用すると以下のようになります。 { "name": "Alice", "address": { "street": "123 Main St", "city": "Wonderland" }, "phoneNumbers": [ { "type": "home", "number": "555-1234" } ], "isActive": true } preferences と age カラムが消えていることがわかります。

こんにちは、 @kz_morita です。 AWS が提供する BI ツールである QuickSight にてマルチテナントなど環境を分離する際に参考になりそうな資料をまとめてみました。 資料まとめ 【開催報告】Amazon QuickSight Roadshow 東京 2023 2023 年 8月に行われたイベントの報告レポートです。QuickSight の色々な機能について触れられています。 以下に上記イベントの中のプレゼン資料をいくつかピックアップします。 フォルダとAPIを活用したシングルアカウントでの複数環境運用 フォルダ機能を使って、複数環境を分離して運用する方法について書かれています。 QuickSight におけるアセット管理 こちらは、QuickSight のアセットをコードで管理する方法について書かれています。 たとえば、開発環境と本番環境を用意している場合異なる環境間でアセットをコピーなどしてデプロイすると言った運用が考えられます。 その際に、アセットをコードとして管理されていると運用がしやすくなりそうです。 上記では Template 機能などが紹介されています。 分離された名前空間によるマルチテナンシーのサポート こちらは、公式サイトで QuickSight では名前空間を使って環境を分離する方法がサポートされていることについて説明されています。 Amazon QuickSight 埋め込みハンズオン > イントロダクション こちらは、QuickSight の埋め込み機能を用いてマルチテナントのアプリケーションを作成するハンズオン資料です。 こちらも名前空間を使用して複数環境用意する例がハンズオン形式で紹介されています。 QuickSightの名前空間機能を使ってマルチテナント用に環境を分離させる 上記も名前空間機能を使ってマルチテナント用に環境を分離させる方法について書かれています。

こんにちは、 @kz_morita です。 タイトルの通り、AWS CLI を使う時に環境変数で使用する PROFILE を指定しておくと便利だったのでメモしておきます。 AWS_PROFILE を使う 通常 AWS CLI をつかうときは以下のように --profile オプションを使ってプロファイルを指定します。 $ aws s3 ls --profile my-profile しかし、aws cli を連続で打つ場合などに毎回 --profile オプションを指定するのは面倒です。そこで、環境変数 AWS_PROFILE にプロファイル名を指定しておくと、--profile オプションを省略してコマンドを実行できます。 $ export AWS_PROFILE=my-profile $ aws s3 ls aws cli を使って、AWS の大量のリソースをセットアップしたいという時は使うと良さそうです。 その他の環境変数 その他に、AWS CLI でサポートされている環境変数としては以下のようなものがあります。 AWS_ACCESS_KEY_ID AWS_CA_BUNDLE AWS_CLI_AUTO_PROMPT AWS_CLI_FILE_ENCODING AWS_CLI_S3_MV_VALIDATE_SAME_S3_PATHS AWS_CONFIG_FILE AWS_DATA_PATH AWS_DEFAULT_OUTPUT AWS_DEFAULT_REGION AWS_EC2_METADATA_DISABLED AWS_ENDPOINT_URL AWS_ENDPOINT_URL_ AWS_IGNORE_CONFIGURED_ENDPOINT_URLS AWS_MAX_ATTEMPTS AWS_METADATA_SERVICE_NUM_ATTEMPTS AWS_METADATA_SERVICE_TIMEOUT AWS_PAGER AWS_PROFILE AWS_REGION AWS_RETRY_MODE AWS_ROLE_ARN AWS_ROLE_SESSION_NAME AWS_SDK_UA_APP_ID AWS_SECRET_ACCESS_KEY AWS_SESSION_TOKEN AWS_SHARED_CREDENTIALS_FILE AWS_USE_DUALSTACK_ENDPOINT AWS_USE_FIPS_ENDPOINT AWS_WEB_IDENTITY_TOKEN_FILE それぞれの詳細はいかのサイトを参照してみてください。

こんにちは、 @kz_morita です。 今回は、 『関数型ドメインモデリング ドメイン駆動設計とF# でソフトウェアの複雑さに立ち向かおう』 という本を読んだので感想を書きます。 書籍について 『関数型ドメインモデリング ドメイン駆動設計とF# でソフトウェアの複雑さに立ち向かおう』 という本で、アスキードワンゴから出版されています。 2024 年 6 月 28 日に出版されているので割と新しめな本です。 以下のような目次の内容になっています。 推薦のことば 日本語版へ寄せて 訳者まえがき はじめに 第1部　ドメインの理解 第1章 ドメイン駆動設計の紹介 第2章 ドメインの理解 第3章 関数型アーキテクチャ 第2部　ドメインのモデリング 第4章 型の理解 第5章 型によるドメインモデリング 第6章 ドメインの完全性と整合性 第7章 パイプラインによるワークフローのモデリング 第3部　モデルの実装 第8章 関数の理解 第9章 実装：パイプラインの合成 第10章 実装：エラーの扱い 第11章 シリアライズ 第12章 永続化 第13章 設計を進化させ、きれいに保つ 著者紹介 訳者紹介 感想など X (旧 Twitter) でこの書籍が発売されたことをしり、関数型でドメインモデリングするという非常に興味深い内容だったので購入して読んでみました。 大きく分けて 3 部構成になっています。 1 部では、ドメインを理解することについて書かれていて、DDD でいうところの戦略的設計について書かれています。 2 部では、モデリングについてで型を使ってモデリングしていく方法について書かれています。 3 部では、実際に関数型でどのように実装するかという点を F# を使ってかなり具体的に書かれています。

こんにちは、 @kz_morita です。 日頃 Snowflake を使用してますが、その中でGROUP BY ALL と EXCLUDE の機能が便利だったので紹介します。 サンプルとなるテーブル 以下のようなオーダーテーブルのデータをサンプルとして使用します。 order_id customer_id order_date product_id quantity price 1 101 2024-01-01 501 2 10.00 2 102 2024-01-02 502 1 20.00 3 101 2024-01-03 501 1 10.00 4 103 2024-01-04 503 3 15.00 5 104 2024-01-05 504 5 25.00 6 101 2024-01-06 501 4 10.

こんにちは、 @kz_morita です。 今回は、『 達人に学ぶDB設計 徹底指南書 ～初級者で終わりたくないあなたへ 』という本を読んだのでその感想などを書いていきます。 書籍について 『 達人に学ぶDB設計 徹底指南書 ～初級者で終わりたくないあなたへ 』という名前の本で、翔泳社から出版されています。 https://www.shoeisha.co.jp/book/detail/9784798124704 目次は以下のようになっています。 第1章　データベースを制する者はシステムを制す 1-1　システムとデータベース 1-2　データベースあれこれ 1-3　システム開発の工程と設計 1-4　設計工程とデータベース 第2章　論理設計と物理設計 2-1　概念スキーマと論理設計 2-2　内部スキーマと物理設計 2-3　バックアップ設計 2-4　リカバリ設計 第3章　論理設計と正規化 ～なぜテーブルは分割する必要があるのか？ 3-1　テーブルとは何か？ 3-2　テーブルの構成要素 3-3　正規化とは何か？ 3-4　第1正規形 3-5　第2正規形 ～部分関数従属 3-6　第3正規形 ～推移的関数従属 3-7　ボイス－コッド正規形 3-8　第4正規形 3-9　第5正規形 3-10　正規化についてのまとめ 第4章　ER図 ～複数のテーブルの関係を表現する 4-1　テーブルが多すぎる！ 4-2　テーブル同士の関連を見抜く 4-3　ER図の描き方 4-4　「多対多」と関連実体 第5章　論理設計とパフォーマンス ～正規化の欠点と非正規化 5-1　正規化の功罪 5-2　非正規化とパフォーマンス 5-3　冗長性とパフォーマンスのトレードオフ 第6章　データベースとパフォーマンス 6-1　データベースのパフォーマンスを決める要因 6-2　インデックス設計 6-3　B-treeインデックスの設計方針 6-4　統計情報 第7章　論理設計のバッドノウハウ 7-1　論理設計の「やってはいけない」 7-2　非スカラ値（第1正規形未満） 7-3　ダブルミーニング 7-4　単一参照テーブル 7-5　テーブル分割 7-6　不適切なキー 7-7　ダブルマスタ 第8章　論理設計のグレーノウハウ 8-1　違法すれすれの「ライン上」に位置する設計 8-2　代理キー ～主キーが役に立たないとき 8-3　列持ちテーブル 8-4　アドホックな集計キー 8-5　多段ビュー 8-6　データクレンジングの重要性 第9章　一歩進んだ論理設計 ～SQLで木構造を扱う 9-1　リレーショナルデータベースのアキレス腱 9-2　伝統的な解法 ～隣接リストモデル 9-3　新しい解法 ～入れ子集合モデル 9-4　もしも無限の資源があったなら ～入れ子区間モデル 9-5　ノードをフォルダだと思え ～経路列挙モデル 9-6　各モデルのまとめ 付録　演習問題の解答 索引 感想など まず、この本を読もうと思ったモチベーションはテーブル設計 (主にマスターテーブル) を行ったときに、うまく言語化できないが使いづらい設計になったためどのあたりに問題があるのか？といった点を明確にしたいという点にありました。

こんにちは、 @kz_morita です。 スプレッドシート上でサクッと集計したいケースに使えるちょっとした Tips を紹介します。 対象のテーブル 以下のような従業員と、部署と売上のカラムを持つようなテーブルを考えます。 employee_id employee_name department sales 1 Alice Sales 5000 2 Bob Sales 3000 3 Charlie Marketing 2000 4 David Sales 4000 5 Eve Marketing 3500 6 Frank IT 2800 7 Grace IT 3200 8 Henry Marketing 1500 UNIQUE と SUMIF で集計する まずは集計するキーを UNIQUE 関数で生成します。

こんにちは、 @kz_morita です。 開発をしていると技術選定する機会がよくあります。特にデータエンジニアリングをしているといろいろな周辺ツールを触り、技術選定することが多いです。 今回は、意思決定をする際に活用している ADR と意思決定マトリクスについて書きます。 意思決定マトリクス 最終的に、技術選定を行い決定する際によく活用しているものとして意思決定マトリクス (Decision making matrix) があります。 意思決定マトリクスとは、意思決定する候補と、その評価指標を表形式にまとめて最終的にどれを採用するか決める手法です。 例えば、今日の晩ごはん、カレーにするか、ハンバーグにするか、からあげにするか、サバの味噌煮にするかという意思決定をするとします。 意思決定の評価軸として、以下のようなものを用意してみました。 おいしいか つくるのが楽か 材料費 低カロリー 以下のような表にまとめます。 夕食案 おいしいか つくるのが楽か 材料費 低カロリー スコア カレー 5 4 2 2 13 ハンバーグ 4 3 3 3 13 からあげ 4 2 4 2 12 さばの味噌煮 3 3 4 5 15 (※ 説明用なので各指標のスコアは適当です。筆者はさばの味噌煮が好きです)