こんにちは、 @kz_morita です。 圏論に入門する記事の6 回目です。 これまでの記事はこちら 圏論への入門 圏論とは 圏論への入門 圏の例としての順序集合 圏論への入門 集合圏 Set 圏論への入門 モノイドとモノイドの圏 圏論への入門 関手とは Hom 集合 とある圏 C の２つの対象 $X, Y$ について、２つの対象の間の射は複数存在するが、その射の集合を Hom 集合 とよび、$Hom_C(X, Y)$ と表現します。 Hom 関手 とある圏Cに対してある特定の点A を固定してそこから各対象への Hom集合を取る操作はもとの圏C から 集合圏 Set への関手となり、Hom 関手 と呼ばれます。 最初 Hom 関手について聞いたときに、なんのことかよくわからなかったのですが図解して見るうちに理解できてきたので図をつかって説明します。 関手の定義のおさらい 関手の定義は以下の様なものでした。 圏C と 圏D において、以下の条件を満たす $F$ を関手 (functor) と呼ぶ。 $C\ の射 \ f: X \to Y \ を \ D \ の射 \ F(f): F(X) \to F(Y)$ に対応させる $F (f \circ g) = F(f) \circ F(g)$ $F(1_X) = 1_{F(x)}$ この定義にそって、特定の点A から各対象への Hom集合を取る操作が関手になるかを確認していきます。

こんにちは、 @kz_morita です。 Scala で ElasticSearch から大量の件数のデータを取得する必要があり実装をしました。 ライブラリは Elastic4s を使用しています。 https://github.com/sksamuel/elastic4s 要求として、1万件以上の数の多いデータを ElasticSearch から取得する必要があったのですが、デフォルトでは 1万件ずつしか取得できません。 軽く調べたところアプリケーション側で繰り返し取得するか、ElasticSearch の Scroll API を使用する必要がありそうでした。 Elastic4s に ScrollAPI への繰り返しリクエストを Wrap してくれる SearchIterator があったのでそれを利用してみました。 SearchIterator を使った取得 以下のような SearchIterator を使用したコードで1万件以上のデータを取得することができました。 import com.sksamuel.elastic4s._ import com.sksamuel.elastic4s.ElasticDsl._ import com.sksamuel.elastic4s.circe._ import com.sksamuel.elastic4s.http.JavaClient import scala.util.{Failure, Success, Using} // ... // .. // . // ElasticSearch の Client を生成 private def buildClient: ElasticClient = ElasticClient(JavaClient(ElasticProperties(s"https://$host"))) // ElasticSearch から取得した結果から読み込むための case class case class FetchItemIdResult(itemId: String) object FetchItemIdResult { implicit val hitReader: HitReader[FetchItemIdResult] = hitReaderWithCirce[FetchItemIdResult] } // itemCategory から itemId を種痘する override def fetchItemIds(itemCategory: ItemCategory): IO[Error, Seq[ItemId]] = { ZIO.

こんにちは、 @kz_morita です。 今回は、数GB のファイルをダウンロードする必要があり、curl などを叩いたりしたのですがうまくいかずにエラーになったりしたのでその解決方法についてメモします。 結論 既存の CLI ツールでうまく動かなかったため、Rust でファイルをダウンロードするコードを書きました。 https://github.com/foresta/file-downloader/ 結果として、2GB ほどあるファイルをダウンロードうまくすることができました。 試してできなかったこと まずは、普通に curl コマンドでファイルをダウンロードしようとしました。 すると以下のようなエラーが出ました。 curl -O https://example.com/large-file.xml curl: (92) HTTP/2 stream 0 was not closed cleanly: INTERNAL_ERROR (err 2) エラーの詳細まで立ち入ってないのですが、毎回 1 GB ダウンロード完了下くらいの時点でエラーがでていたため、おそらく制限があるのではないかと思います。 次に、curl のコマンドで、ダウンロードを継続してやる方法について調べたので実行しました。 curl のオプションに -C というものがありこれを使うとダウンロードを継続して実行してくれるとのことなので試してみました。 curl -OC - --retry 999 --retry-connrefused --retry-max-time 0 http://example.com/large-file.xml これを試したところ、こちらも同様の結果となり、1GB 超えた際にエラーになりました。 そのため、自前でコード書けばまぁうまくできるかなぁと軽い考えで Rust で downloader を書き始めました。 コードをさっと説明 Rust でコードを書いたので軽く説明します。書きなぐったコードなのでもうちょっとやりたいことあるのですが一旦動いたので GitHub にアップしました。 https://github.

こんにちは、 @kz_morita です。 圏論について入門する記事の5回目です。 これまでの記事はこちら 圏論への入門 圏論とは 圏論への入門 圏の例としての順序集合 圏論への入門 集合圏 Set 圏論への入門 モノイドとモノイドの圏 関手とは 前回の記事 でモノイドの圏について考えましたが、今回はより抽象化した関手について考えます。 関手は圏と圏の間の対応をあわらす、いわば圏を対象としたときの射のようなものです。 定義は以下の通り 圏C と 圏D において、以下の条件を満たす $F$ を関手 (functor) と呼ぶ。 $C\ の射 \ f: X \to Y \ を \ D \ の射 \ F(f): F(X) \to F(Y)$ に対応させる $F (f \circ g) = F(f) \circ F(g)$ $F(1_X) = 1_{F(x)}$ 具体例で考える 前回のモノイド準同型の例で、具体例を考えると以下のようなことです。 ↓の２つの圏 (モノイド) を考えます。 $圏\ C = (\mathbb{R}, +, 0)$ 実数の集合を対象とし、+ (加算)を射とするモノイド。単位元は 0 $圏\ D = (\mathbb{R}_{>0}, *, 1)$ 正の実数を対象とし、* (乗算) を者とするモノイド。単位元は 1 $F(x) = 2^x$ が関手になるのですが、定義を具体例で再確認します。

こんにちは、 @kz_morita です。 mysql で SQL を実行する場合、mysql-client から実行するケースが殆んどだと思いますが、ShellScript から実行できるようにしておくと色々と自動化できたり、何かと便利なので方法についてまとめます。 環境 ローカルで以下のような環境を作って試しました。 docker-compose.yml version:"3.9"services:mysql:image:mysql:8.0.28container_name:mysql-containerports:- "3306:3306"environment:MYSQL_ROOT_PASSWORD:rootMYSQL_DATABASE:samplevolumes:- ./my.cnf:/etc/mysql/conf.d/my.cnfmy.cnf [mysqld] character_set_server = utf8mb4 collation_server = utf8mb4_ja_0900_as_cs [mysql] default-character-set = utf8mb4 [client] default-character-set = utf8mb4 以下のように接続できます。 $ mysql -h 127.0.0.1 -P 3306 -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 8Server version: 8.0.28 MySQL Community Server - GPL Copyright (c) 2000, 2023, Oracle and/or its affiliates.

こんにちは、 @kz_morita です。 圏論について入門する記事の４回目です。 これまでの記事はこちら 圏論への入門 圏論とは 圏論への入門 圏の例としての順序集合 圏論への入門 集合圏 Set モノイドとは モノイドとは、圏において対象がただ１つの圏のことを指します。 例としてあげると、実数 $\mathbb{R}$ (の集合) を対象とし加算を射とするような圏があげられます。 どんな加算をしても $\mathbb{R}$ の要素となるため対象は１つで、射が複数あります。 また、モノイドは対象が１つのため実質的に射の集合として捉えることができます。 前述の例だと、以下のような射の集合と考えられます。 $$ X = \lbrace +0, +1, +2, +3, … \rbrace $$ また、対象が１つであるためどの２つの射でも合成ができ、合成結果もモノイドの射の集合の要素となります。これを、モノイドの射の集合 $M$ をもちいて以下のように表します。 $$ \circ : M \times M \to M $$ $M \times M$ は集合の直積 ($M$ の要素すべての組み合わせ)を表し、それが $M$ への写像であるということです。 また、恒等射も考えることができます。 上記の射の集合の場合、$+0$ は恒等射ということができそうです。 モノイドの定義を圏論的に考えると以下のようになります。 モノイドは次の３つの組み合わせの事を言います。 $(M, \circ, 1_M)$ M は 集合 $\circ$ は、$\circ: X \times X \to X$ となる M上の演算 $1_M \in M$ となる M の元 となり、下記の満たすものです。

こんにちは、 @kz_morita です。 圏論について入門する記事の三回目です． 前回の記事はこちら． 圏論への入門 圏論とは 圏論への入門 圏の例としての順序集合 集合圏 Set とは 一つの集合を対象とし，集合間の写像を射とする圏のことです． 集合 A を 集合 B に移すような写像を $f: A \to B$ と書き，写像 $f$ は，$f(a) = b$ と表せるように，集合 A の要素 a を ただひとつの集合 B の要素 b に移すような関数を指します． 具体例でいうと，整数全体 $\mathbb{Z}$ を自然数全体 $\mathbb{N}$ に移すような写像 $f(x) = x^2$ などを考えることができます． 写像についておさらい 写像に大きく分けて以下の 3 つがある 単射 全射 全単射 単射 単射の定義は，以下の通りです． $$ a \neq a' \ ならば \ f(a) \neq f(a') $$

こんにちは、 @kz_morita です。 前回は、圏とはなにかについてまとめたので今回は、圏論について入門する第二弾の記事で圏の例を見ていきます。 前回はこちら 圏論への入門 圏論とは 順序集合 順序の概念がありときに、「$\leq$」で表される大小関係 ( 二項関係 という ) がある集合を順序集合という。 単純な例だと、数値は数値同士比較できる ( 二項関係がある ) ため、数値の集合は順序関係と言える。 順序集合には以下の3通りあるので説明していく 前順序集合 半順序集合 全順序集合 前順序集合 (preorder set) 以下の条件を満たすものが前順序集合である。 集合内の任意の要素 $a, b$ について $a \leq a$ (反射律) $a \leq b \ かつ \ b \leq c \ ならば、a \leq c$ (推移律) 半順序集合 (partialOrder set) 半順序集合は、前順序集合に加えて以下の条件を満たすものである。 $a \leq b \ かつ \ b \leq a \ ならば、\ a = b$ (反対称律) 全順序集合 (totalOrder set) 全順序集合は、半順序集合の条件に加えて以下の条件を満たすものである。

こんにちは、 @kz_morita です。 前から気になっていた圏論について、 『圏論の道案内』 という本を読み始めました。 普段 Scala を書くエンジニアとしてモナドなどよく耳にしますが、それがどういう概念に基づく言葉なのか理解したいと思ったのがきっかけです。 学んだことなどをメモがてら書いていきます。 圏論について 圏論は、圏とよばれる矢印からなるシステムについての学問という理解です。 圏 (Category) は、対象 (object) と 射 (arrow) からなります。 定義としては、次の通りの理解です。 対象と射からなるシステムで射が合成でき、 結合律と単位律を満たすのであれば圏と呼ぶことができる 以下で説明していきます。 圏の構成要素 対象 A, B と A から B への射 を f とすると以下のように表記することができます。 $$ B \xleftarrow f A $$ A のことを、射f の 域 (domain) といい、B のことを、射f の 余域 (codomain) といい以下のように表記できます。 $$ A = dom(f), B = cod(f) $$ 射の合成 圏の定義として、射 $f, g$ で $cod(f) = dom(g)$ であれば、$dom(f)$ から $cod(g)$ の射が一意に存在します。

こんにちは、 @kz_morita です。 今回は，『いかにして問題をとくか』という本をよんで面白かったのでその感想などを書きます． 本の紹介 『いかにして問題をとくか』| 丸善出版 ↓ Amazon リンク いかにして問題をとくか-G-ポリア この本は，原著が 1945 年に観光されたかなり歴史のある本で，数学の問題を解く際にどのような考え方をすればよいのかという問題解決に焦点を当てた本になっています． きっかけとモチベーション 問題解決に取り組む際のフォーマットを自分の中に作りたいという思いがこの本を読むきっかけでした． 今までの自分がやらかしたときの行動を振り返ると，以下のような傾向がありました． よさそうな解決策にすぐに飛びつき手戻りが発生する 解決はしたもののそれが暫定的なもので別の問題を引き起こす 似たような解決策が既存にされていて車輪の再開発になる 実際に何かの問題を解決する際に，どのような方法で問題に取り掛かるのかといったことを自分の中でフォーマット化することにより未知の問題に対してスムーズに取り掛かれるようになるべく読み始めました． 読んだ感想 この本は全体的に，数学の問題に対してどのように取り組むべきかということについて書かれていますが，内容はそれ以外の日常の (特にエンジニアの業務) に応用できるものだと思いました． 未知の問題に対してどのように取り組むか，どのように問題を深く理解するかについてが書かれています． 問題に慣れ，より深く理解し，計画を立て，実行し，振り返るといった各プロセスで何を行うのかという点が非常に参考になりました． 一番参考になったところは問題を深く理解するという点で，未知なものは何か？与えられているデータは何か？条件は何か？といった問いかけが非常に重要なことを学べます． 読もうと思った自身の課題についても解決できそうに感じていて，特に 第 Ⅱ 部の対話という章では，まさに自分が求めていた問題解決のフォーマットが得られる形式でかかれていました． また，第 Ⅲ 部は辞書的な使い方ができるようになっているため定期的に読み返したくなります． 自分は，よさそうな解決策にすぐに飛びつき手戻りが発生する ということを特に良くやりがちなのですが，対象の問題を深く理解する方法について学べたので実務にも活かせそうです． まとめ 今回は，『いかにして問題をとくか』という本を読んだ感想を書きました．個人的にかなり刺さった本でかなり実用的だなというのが率直な感想です． これからも定期的に読み返したい一冊でした．

こんにちは、 @kz_morita です。 普段 vscode をテキストエディタとして使用しているのですが、グラフィカルな図をメモとして書きたいと思ったときに、vscode 上でかけるプラグインがいくつかあったのでメモです。 draw.io draw.io は、グラフをかける web サービスですが、vscode プラグインがあったので紹介します。 https://marketplace.visualstudio.com/items?itemName=hediet.vscode-drawio 一番上の、Draw.io Integration をインストールします。 拡張子を、.drawio, .dio でファイルを作成すると、drawio の画面が開けるようになります。 以下のように基本的な図形を描画できるので便利そうです。 詳しい図形の書き方などは、draw.io と同じなので使ったことがあればかけるかなと思います。 操作自体も直感的なので触ってくうちにわかるとは思います。 mindmap マインドマップなどもかけないかなと思って探してみたところ良さそうなものがありました。 https://marketplace.visualstudio.com/items?itemName=pmcxs.vscode-mindmap 日本語対応している i18n バージョンをダウンロードします。 拡張子 .km でファイルを作成すると mindmap を開くことができます。 この mindmap ですが、基本的にキーボードで操作でき、Enter で 兄弟ノード追加、Tab で子ノード追加のようになっているためとても便利です。 まとめ 今回は、vscode 上で図がかける、draw.io の plugin と mindmap 用の Plugin を紹介しました。 どちらも良い点としては、ファイルの実態は text ファイル (drawio は xml 形式, mindmap は JSON) なので、github などでドキュメントのバージョン管理がしやすいです。

こんにちは、 @kz_morita です。 2023 年が始まり、仕事はじめも無事したので今年の抱負などを書いていこうかなと思います。 2022 年の振り返り 2022 年の年始にも今年の抱負についてブログを書きました。 2021年の振り返りと2022年の抱負とか その中で以下のような目標を掲げてました。 分散処理の知識をつける 情報検索、自然言語処理の知識 英語を使えるようになる 健康に気をつけ 10 kg 痩せる 今振り返ってみるとどれも中途半端だったかなという印象です。 分散処理の知識については、業務をしていくなかで少しづつ理解が深まってはいますが、体系だてて学んだわけではなく業務で必要な知識をその場で身につけるような形でした。 必要に迫られて知識の習得をすること自体は素晴らしいことですが、あまり深掘りできなかったなと反省していて、その知識の裏にある背景や文脈などあんまり理解せずに場当たり的だった気がしています。 情報検索、自然言語処理や英語に関しても同様であまり学習が進んでいないです。 健康に気をつけという点に関しては、1 年間大きな病気もせずに暮らせたのでまぁ良かったと思いますが、体重に関しては達成せずなので今年も引き続きかなと思います。 2023 年に向けて 以下のようなことを目標というか指針としたいなと思います 本を読む コードを書く 引き続きOutputをつづける 運動する習慣をつける 本を読む 去年も色々と本を読みましたが、積読は増えていく一方なので定期的に読んでいこうと思います。 本を積んでいくこと自体は別に悪いとは思わないのですが、さすがに読んでない本が家にたまり続けてきたので読み勧めたいなと思います。 いろいろと好奇心のまま本を読んでいこうと思います。 コードを書く 去年は、仕事以外であまりコードを書いてなかったので色々と面白そうなところを見つけてコードを書いていきたいなと思います。 本が Input とするのであれば、コードは Output となると思うので色々と書きたいなと思います。 引き続きOutputをつづける 2022 年もこのブログをつづけることができましたが、今年も続けていければと思います。 ブログもそうですが、勉強会など他の形での Output も積極的にできればと思います。オンラインになってからあまり勉強会参加してなかったのですが機会があれば参加して発表などをしていきたいです。 運動する習慣をつける 30 超えて健康にもより一層気をつけないといけないと思うので、運動する習慣をつけて体力をつけたいと思います。 去年の目標だった、10kg 減も引き続きで。 まとめ 今年も健康に気をつけつつ、自分の興味ある分野などについて色々学んだりできたら良いなと思います。 1 年後振り返るときに良い 1 年だったと思えるようにしていきたいなと思います。 今年もよろしくお願いいたします。

こんにちは、 @kz_morita です。 2022年も年の瀬になりました。 今年も一年間週一でブログを書き続けることができ、この記事を入れて合計で52記事を書くことができました。 そこそこ書けたので毎年恒例の word cloud で振り返ってみます。 word cloud 手法は過去の記事と同様です。 word cloud で今年のブログを振り返る 今年は以下のような結果になりました。 今年は、Scala が多かったように思います。また Windows PC を購入していろいろな環境構築をしたので、インストール などの単語も含まれていそうです。 今年書いた scala タグ がついている記事は以下のとおりです。 Scala の並列コレクションで処理を高速化する scala-uri で角括弧を含む文字列が Parse Failed する件の調査ログ scala-redis を使ってみる Scala で Duck Typing を使ってコードを共通化する Scala の 型パラメータによる抽象化 Scala で shapeless を使ってみる Scala で List から Mapに変換する Scala で既存の型を拡張する WSL 上にScala の環境を構築する Scala の Regex で全角半角を無視して match する方法 Scala で case class をソートする Scala から Parameter Store のデータにアクセスする Scala で Retry 処理を実装する Mockito でメソッドの呼び出し回数のテストをする 14記事書いていたみたいです。 去年は入門記事だったのに対し、今年は実際に開発してみて躓いたところやライブラリについてなどより一歩深いところの記事がかけたんじゃないかなと思います。

こんにちは、 @kz_morita です。 普段、openapi 形式の yaml ファイルで API 仕様書を管理していますが、それを見やすい形にドキュメントする方法について書きます。 普段は、openapi 仕様形式の yaml を Stoplight Studio を使って編集しています。 その yaml ファイルから generator を使って、API が返すモデルを自動生成しています。 Stoplight Studio でも見れますが、編集用ということもあり若干見にくいのとどこかのサーバーにホスティングできないかと調べたところ方法があったのでメモです。 HTML でAPI ドキュメントを表示する 結論からいうと、以下のような HTML を書くと API ドキュメントを Web ページとして見ることができます。 <html lang="ja"> <head> <meta charset="utf-8" /> <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no" /> <title>API Docs</title> <script src="https://unpkg.com/@stoplight/elements/web-components.min.js"></script> <link rel="stylesheet" href="https://unpkg.com/@stoplight/elements/styles.min.css" /> </head> <body> <elements-api apiDescriptionUrl="openapi.yml" router="hash" /> </body> </html> 詳しくはこちらの 公式ドキュメント にも記載があります。 HTML ファイルなのであとは、S3 や GitHub Pages など何らかの方法でホスティングすることで API ドキュメントを見ることができるようになります。 公式のドキュメントを見る限り、React や GatsbyJS、Angular なども対応しているそうです。

この記事は スタンバイ Advent Calendar 2022 の 19 日目の記事です はじめに これまでに、Kotlin や Scala などの JVM 言語を使用して開発を行ってきました。 そのため JVM にはお世話になってきたのですが、恥ずかしながらちゃんと中の仕組みなどをあまり把握できていません。 特に、パラメータのチューニングやデバッグなどまだまだ感覚的にやっているところも多く、この辺りの理解を深めたいというモチベーションがありました。 今回は、Advent Calendar で良い機会なので今回は jdk のソースコードを読んでいこうかなと思います。 対象のソースコードは、OpenJdk で 12/11 時点の master ブランチを読んでいこうと思います。 https://github.com/openjdk/jdk/tree/a37de62d9ddadf1490ee59bd03224e8cea70a75b 筆者の環境は、intell の macbook で、macOS Big Sur になります。 読むための準備 いきなり読み始めても良いのですが、手元で動かせるようにしておきたいためまずは build していきます。 公式の buildng.md に JDK のビルド方法が書かれているためこちらに沿って準備していきます。 手順としては以下の通りです ソースコードの取得 configure実行 make 実行 ソースコードの取得 まずソースコードの取得ですがこちらは repository から clone してきます。 $ git clone https://git.openjdk.org/jdk/ configure 実行 次に、configure ですがクローンしてきたディレクトリで以下のコマンドを叩きます。

こんにちは、 @kz_morita です。 普段持ち歩き用の PC として，thinkpad に ubuntu を入れて運用しているのですがデスクトップにあるアイコンを削除できないかなーとふと思い立ち調べてみたところ，cli からそのあたりの設定が変更できそうだったのでメモです. TL;DR 以下で desktop icon の非表示化が出来ます． $ gsettings set org.gnome.desktop.background show-desktop-icons false gsettings デスクトップアイコンですが，gsettings コマンドで設定が可能らしいので見ていきます． $ gsettings Usage: gsettings --version gsettings [--schemadir SCHEMADIR] COMMAND [ARGS…] Commands: help Show this information list-schemas List installed schemas list-relocatable-schemas List relocatable schemas list-keys List keys in a schema list-children List children of a schema list-recursively List keys and values, recursively range Queries the range of a key describe Queries the description of a key get Get the value of a key set Set the value of a key reset Reset the value of a key reset-recursively Reset all values in a given schema writable Check if a key is writable monitor Watch for changes Use “gsettings help COMMAND” to get detailed help.

こんにちは、 @kz_morita です。 Mockito で メソッドが呼ばれるかどうか、何回呼ばれるかをテストするコードを書いたのでメモです。 Mockito | github mockito.org Mockito document Test したい処理 今回は以下のようなメソッドをテストしたいとします。 class ItemService(itemRepository: ItemRepository) { def getItems(user: User): Seq[Item] = { if (user.isLoggedIn) { itemRepository.getUserItems(user.id) } else { itemRepository.getAllItems() } } } 仮ですが、ユーザークラスを渡して Item のリストを取得するといったシチュエーションです。ログイン済みであればそのユーザーに関連するアイテムを取得し、未ログインであれば全アイテムを取得するといった内容です。 mock しつつテストを書く まずは必要そうなメソッドやクラスを mock します。 // ItemRepository を Mock val itemRepository: ItemRepository = mock[ItemRepository] // getAllItems, getUserItems の戻り値を設定. 両方とも空リストを返すとする when(itemRepository.getAllItems()).thenReturn(Nil) when(itemRepository.getUserItems(anyInt())).thenReturn(Nil) val itemService = new ItemService(itemRepository) when で実際のメソッドをmock します。

こんにちは、 @kz_morita です。 Scala で retry 処理を実装する必要があったのですがライブラリを使って簡単に実装できたのでメモです。 retry 処理を実現するライブラリ Scala で retry をするためのライブラリをいくつかありますが、今回は以下を使用しました。 https://github.com/softwaremill/retry 使い方は簡単で、retry するポリシーを定義し、成功とする条件を定義し、apply をします。 retry する対象のメソッドは以下とします。 def now(): LocalDateTime = LocalDateTime.now(ZoneOffset.UTC) var start = now() var execCount = 0 def exec(num: Int): Future[Int] = { Future { //////// ロギング用 execCount += 1 val elapsed = ChronoUnit.MILLS.between(start, now()) / 1000 println(s"### exec ${execCount}times. ${elapsed}s") //////// ロギング用 num % 2 } } 与えられた数を2で割った余りを返すメソッドです。

こんにちは、 @kz_morita です。 MySQLのクエリチューニングの一環で、うまく index が聞かずにパフォーマンスが出なかったときに index hints 構文を使用したのでメモです。 index hints 構文 通常のクエリであれば、MySQL のオプティマイザで適切な index が選択され利用されますが、インデックスを選択する方法についてクエリでオプティマイザに提供することができます。 MySQL の公式サイト によると、以下のような構文でオプティマイザにインデックスの情報を提供することができます。 tbl_name [[AS] alias] [index_hint_list] index_hint_list: index_hint [, index_hint] ... index_hint: USE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}] ([index_list]) | IGNORE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}] (index_list) | FORCE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}] (index_list) index_list: index_name [, index_name] ... そもそも使おうとしたきっかけとしては、データ量の多いテーブルに対して SELECT を投げた時にクエリが遅く返ってこない問題が起きた時の調査でした。 調査の過程で explain で実行計画を見たときに、想定していたのと違う index が使用されていたため使用する index をオプティマイザに伝えることで改善しました。 インデックスを指定するためには、USE INDEX や、FORCE INDEX を利用します。

こんにちは、 @kz_morita です。 Scala から AWS の パラメータストアのデータを読むために実装したのでメモです。 前提 Scala から AWS のリソースにアクセスするために aws-sdk を使用します。build.sbt に以下のように依存を追加します。 libraryDependencies ++= Seq( "software.amazon.awssdk" % "ssm" % "2.17.196" ) また、Scala を ECS などで動かす場合には、SSM Parameter Store にアクセスできる IAM Policy を付与する必要があるので事前に追加しておきます。 以下のような Policy が必要となります。 { "Effect": "Allow", "Action": [ "ssm:GetParameter" ], "Resource": [ "arn:aws:ssm:{REGION}:{ACCOUNT_ID}:parameter:/example/parameter" ] } 実装 awssdk に、SSMClient があるのでそちらを使います。 SsmClient には同期的なバージョンと、非同期用のバージョンの２つがあります。 SsmClient SsmAsyncClient Scala で Future を使って非同期処理をするのであれば、後者の SsmAsyncClient を使用します。 両方の Client には、builder が用意されているので、それを利用します。

こんにちは、 @kz_morita です。 Scala で case class は非常に便利でよく使いますが，case class でソートしたい場合などに工夫が必要なのでまとめます． ソートする方法 以下のような UserId データを考えます． case class UserId(value: Int) val ids = Seq(UserId(1), UserId(5), UserId(10), UserId(2), UserId(4)) ids.sorted 上記のようにソートされた値を取得しようとすると以下のようなエラーが表示されます． No implicit Ordering defined for B where: B is a type variable with constraint >: UserId .. I found: scala.math.Ordering.ordered[B]( /* missing */summon[scala.math.Ordering.AsComparable[B]] ) But no implicit values were found that match type scala.math.Ordering.AsComparable[B] UserId クラスが Ordering トレイトが実装していないため，比較ができずにソートすることができないです． case class の配列である ids をソートしたいといったユースケースを実現するためにいくつか方法があるのでまとめます．

こんにちは、 @kz_morita です。 スクラム開発をしていて、Miro を使って Planning Poker をしたのが面白かったのでメモです。 Planning Poker とは Planning Poker は、チーム開発をしているときにストーリーポイントをチームで見積もるために行うアクティビティです。 ポーカーのように、ストーリーポイントが書かれたカードを裏向きで場に出し同時に表にしてその後妥当なポイントを話し合って決めるといった手法になるかと思います。 詳しい説明などは、下記のサイトなどを参考にしてみてください https://www.mof-mof.co.jp/blog/column/agile-estimation-planning-poker https://asana.com/ja/resources/planning-poker Miro で Planning Poker をする オンラインで、チームのコラボレーションに用いられる Miro ですが、こちらにも Planning Poker の Plugin があり使えました。 Miro アカウントはすでにある前提で話を進めます。 https://miro.com/marketplace/planning-poker/ にアクセスすると、Planning Poker の Plugin が見れます。 Connect ボタンを押して、Miro のアカウントと接続すると使用できるようになります。 Miroのメニューに Planning Poker が表示されるようになるので、それを押すと以下のような Poker の数字が表示されます。 自分の思うポイントを選択して、Miro のボードにドラッグ&*ドロップします。 すると以下のように、カードが裏向きで表示され、自分メニューには選択したポイントが表示されます。 この状態で変更したいときは、Swap ボタンを押すと再度選択できるようになります。 Reveal all ボタンを押すと全員分のカードをめくることができます。 Clear all ボタンで全員のカードを削除することができます。

こんにちは、 @kz_morita です。 時間のかかる処理などを自動化して実行するために Bash を使うことがよくあるのですが、ログなどに進捗を出しておかないとあとどのくらいで終わりそうかがわからずに計画がたてられないといったことがあると思います。 既存の公開されているスクリプト (特に Install Script など) はインストールの進捗がプログレスバーなどで表現されていると思います。 今回はそれをどうやって実現しているのか、調査して実装したので内容についてメモします。 成果物 さきに、今回作った成果物です。progress_bar 関数に、現在の進捗と全体の処理数渡したらいい感じにプログレスバー出してくれるように実装しました。 https://gist.github.com/foresta/1c2fd61c93faf08c17a0b423a2640b94 #!/bin/bash progress_bar() { current=$1 total=$2 progress=$(($current * 100 / ${total})) bar="$(yes '#' | head -n ${progress} | tr -d '\n')" if [ -z "$bar" ]; then bar='_' fi printf "\r[%-100s] (%d/%d)" ${bar} ${current} ${total} } echo "[Start]" total=100 for i in $(seq 1 ${total}); do progress_bar $i $total sleep 0.05 done echo "" 実行すると以下のような結果になります。それっぽい結果になったのではないかと思います。

こんにちは、 @kz_morita です。 curl で一定間隔おきに API を叩いてレイテンシーを確認したいといったときに、watch コマンドをつかうと便利だったのでメモです。 ワンライナー 先に結論です。 特定の API を一定間隔で叩きレイテンシーを CSV に書き出すためには以下のようなワンライナーで実現できます。 $ echo '"http_code", "time_total"' > result.csv && watch -n 1 'curl -s localhost:8080 -o /dev/null -w "%{http_code}, %{time_total}\n" >> result.csv' 以下のような CSV ファイルを吐き出すことができます。 "http_code", "time_total" 200, 0.000691 200, 0.000557 200, 0.000604 200, 0.000708 200, 0.000751 200, 0.000678 watch コマンド便利ですね。 以下上記のコマンドについて順を追って説明していきます。 APIを叩いてレイテンシーを確認する 例えば localhost:8080 に対してリクエストをしたいといったときには、以下のように Curl を用いるかと思います。 $ curl localhsot:8080 レイテンシーを計測する際には、以下のように結果を破棄しつつ、-w コマンドでAPIから結果が返却されるまでの時間を取得することができます。 $ curl -s localhost:8080 -o /dev/null -w "%{http_code}, %{time_total}\n" 結果を破棄するには -o /dev/null で。