こんにちは、 @kz_morita です。 Redash で重いクエリを特定するためのクエリについて紹介します。 slow query の特定 今回は Snowflake のコストをモニタリングする過程で、Redash のクエリ実行が重いことがわかったので特に思いクエリを特定するためのクエリを作成しました。 以下に SQL を記載します。 withquery_statsas(selectquery_hash,round(cast(avg(runtime)asnumeric),2)asavg_runtime-- 平均実行時間 ,max(retrieved_at)aslast_executed,count(1)asrun_count--実行回数 ,sum(CASEWHENretrieved_at>=CURRENT_TIMESTAMP-INTERVAL'10 days'THEN1else0END)aslast_10days_run_count-- 直近10日実行回数 fromquery_resultswhereretrieved_atbetween'{{ date.start }}'and'{{ date.end }}'-- 期間指定 anddata_source_idin(selectidfromdata_sourceswheretype='snowflake')groupbyquery_hash)selectq.id,q.name,st.avg_runtime,st.run_count,last_10days_run_count,st.avg_runtime*last_10days_run_countasscore,last_executedfromqueriesqjoinquery_statsstusing(query_hash)wherenotq.is_archivedorderbyscoredesclimit100;このクエリでは、直近 10 日の実行回数と平均実行時間を元にスコアを計算し、重いクエリを特定しています。 Redash 管理用の Postgresql DB に query_results テーブルがあり、こちらに各クエリの実行結果や処理時間があるため、こちらのテーブルを操作することで時間がかかっているクエリを特定することができます。 まとめ Redash のクエリ実行時間をモニタリングすることで、重いクエリを特定し、改善のためのアクションを取ることができます。 Redash の管理用のテーブルを用いれば様々な情報を取ることができるため便利です。重いクエリが叩かれ続けないように継続的に確認しようと思いました。

こんにちは、 @kz_morita です。 今回は Redash の Query Results についてまとめます。 Redash の Query Results Redash は OSS の BI ツールで、各種データソースと接続して SQL を書いたり簡単にグラフなどの Visualize を作成したりできるツールです。 Redash には Query Results という仕組みがあります。 https://redash.io/help/user-guide/querying/query-results-data-source Query Results は、Redash 上で作成されたデータをソースとしてクエリをかける仕組みです。 Redash ではクエリを作成すると ID が振られるのですが、このクエリ同士を JOIN してクエリを書くことが出来ます。 SELECTa.name,b.categoryFROMquery_100asaJOINquery_500asbONa.id=b.id上記は、queryID が 100 のクエリ結果と、500 の結果を JOIN している例です。 query_{queryID} というテーブル名で参照することが出来ます。 Redash のクエリ結果を JOIN するので、別データソース（例えば MySQL と Snowflake のテーブル）を JOIN するといったことが出来ます。 SQLite 注意点として、Redash の Query Results で書く SQL は SQLite になります。

こんにちは、 @kz_morita です。 今回は、OSS の ダッシュボード作成ツールの Re:dash を WSL 上のローカルで動かすための手順などのメモです。 手順 以下のハンズオンの資料を参考にして構築してみます。 https://github.com/kakakakakku/redash-hands-on README に書いてある通りに構築を進めていきます。 git clone $ git clone https://github.com/kakakakakku/redash-hands-on.git $ cd redash-hands-on Docker Docker を使用するので インストールしていきます。 Docker for Windows をインストールして、WSL2 用の設定を実施すればよさそうです。 Docker 公式サイト から Docker Desktop for Windows の Installer をダウンロードします。 Installer起動すると、以下のようなプロンプトが表示されるので、Use WSL 2 instead of Hyper-V (recommended) のチェックをつけたまま進めます。 インストールが完了し Windows をサインアウトして再度サインインすると wsl 上で docker コマンドが使用できるようになってます。 $ docker -v Docker version 20.10.17, build 100c701 $ docker-compose -v docker-compose version 1.