こんにちは、 @kz_morita です。 今回は、Scala で並列コレクションを用いて処理を高速化する方法についてまとめます。 並列コレクションについて 並列コレクションは、Scala 2.9 で導入されたもので、コレクションを並列化して別々のスレッドで処理を実行することができます。 記法も簡単で以下のようにすると並列コレクション扱いになります。 import scala.collection.parallel.CollectionConverters._ // 通常のコレクション val list: Seq[Int] = Seq(1,2,3,4,5) // 並列コレクション val parallelList: ParSeq[Int] = Seq(1,2,3,4,5).par // Seqに戻すには以下のようにする parallelList.seq 上記のように、par をつけるだけで簡単に並列コレクションとして扱うことができます 例えば以下のようなコードがあったとします。 val list: Seq[Int] = // ... 巨大なリスト val results = list.map(doSomething(_)) // something は時間のかかる処理 巨大なリストに対して一定上時間のかかる処理をする場合には、今回紹介したような並列コレクションを用いるとある程度高速化をすることができます。 val list: Seq[Int] = // ... 巨大なリスト val results = list.par.map(doSomething(_)).seq // something は時間のかかる処理 もちろん処理内容や、環境にによるので参考程度ですが、自分の環境だと3000 文字程度の文字列から NG 記号 (大きめなリスト) が含まれているかといった処理に活用して、2倍以上はスループットが向上しました。 まとめ 今回は、Scala の並列コレクションについて簡単に紹介しました。 比較的簡単に並列化することができるため処理の高速化をする場合にはまず試してみると良さそうだなと思いました。

こんにちは， @kz_morita です． 今回は，詳解システム・パフォーマンスを読み終えたので，軽く感想などを書いていきます． 詳解システム・パフォーマンス 目次 1章 イントロダクション 2章 メソドロジ 3章 オペレーティングシステム 4章 可観測性ツール 5章 アプリケーション 6章 CPU 7章 メモリ 8章 ファイルシステム 9章 ディスク 10章 ネットワーク 11章 クラウドコンピューティング 12章 ベンチマーキング 13章 ケーススタディ 感想とか この本は，OSやアプリケーションにおけるパフォーマンス分析の方法と，チューニングについて書かれていました． 読もうと思ったきっかけは単純に好奇心です．普段はアプリケーションエンジニアとしてサーバーサイドを書いたりフロントのコーディングをしたりしていますが，自分が書いたコードのパフォーマンスというものに関心がありました．また，パフォーマンスチューニングも好きで，ISUCON などもここ3,4年くらい毎年でてます． たまたま，何かのタイミングでこの本が紹介されているのを見かけて衝動買いをしました． 読んでみた感想としては，パフォーマンス以前に，OS などの基礎知識を知ることができるとても良い本だなぁと感じました． 1 章と 2 章では，パフォーマンスとは何か，どうやって計測をするのかといった前提知識が書かれていました． つづく章では，OS,アプリケーション，ネットワーク，CPU，メモリなどの各分野におけるパフォーマンスの分析とチューニングが書かれていました． これらの章がとても良かったです． 各章，用語, モデル, コンセプト, アーキテクチャ, メソドロジ, 分析 といった節が用意されていて，前半の 用語・モデル・コンセプト・アーキテクチャなどを通して，その分野の概要を知れたのが収穫でした．たとえば，オペレーティングシステムの章では以下のような内容について触れられていて，非常に勉強になりました． - カーネル - スタック - 割り込みと割り込みスレッド - 割り込み優先レベル - プロセス - システムコール - 仮装メモリ - メモリ管理 - スケジューラ - ファイルシステム - キャッシング - ネットワーク - デバイスドライバ - マルチプロセッサ - プリエンプション - リソース監視 - 可観測性 もちろん，この書籍だけですべてを網羅できるわけではないですが，なんとなく足がかりをつかむのにとても良かったです．