こんにちは、 @kz_morita です。 今回は、タイトルの通り 『検索システム ― 実務者のための開発改善ガイドブック』 を読んだので感想とか書いていきます。 読もうとしたきっかけ 普段、検索エンジンにデータをインデックスするためのシステムの開発をしているが、検索エンジンそのものや検索についてもっと詳しくなりたいという気持ちがあるため、今回読んで見ようと思い購入しました。 目次 目次についてどんな章があったのか HP から引用します。 https://www.lambdanote.com/collections/ir-system/products/ir-system 本書について 第1章 イントロダクション 第I部 検索エンジンの基礎 第2章 検索エンジンのしくみ 第3章 テキスト解析 第4章 ポスティングリストの走査とランキングのアルゴリズム 第5章 検索エンジンへのデータ登録 第6章 検索インターフェースと検索クエリの処理 第II部 より高度な検索システムにむけて 第7章 よい検索とは 第8章 検索システムプロジェクトの始め方 第9章 検索システムの評価と課題の発見 第10章 クエリ提案とドメイン理解の支援 第11章 検索を成功させるための支援 第12章 検索結果のランキング さらに先に進むために 参考文献 索引 大まかに、二部構成になっていて、基礎編と応用編のような形でした。 基礎編は検索エンジンにおける基礎的な転置インデックスについてや、indexer、ランキングについてなどについて紹介されてました。 第二部としては、検索システムをプロジェクトとしてどう始めるのかといったところから、良い検索のためのクエリ提案やクエリの解釈、拡張などについて書かれてました。 読んだ感想など 第一部は、検索エンジンの基本的な内容が詳しく書かれていたため検索システムの開発に普段から携わってない自分には非常にわかりやすくてよかったです。 『情報検索の基礎』を以前よんでたこともあって、ポスティングリスト周りの話は非常にわかりやすかったです。 第二部のより高度な検索システムにむけてに関しては、より本格的な良い検索のための実装や研究などが紹介されてました。 特に 第11章、第12章はいろいろな手法が紹介されていました。 第11章は、クエリをどのように理解するかやクエリの書き換えなどの手法について工夫が書かれていて、第12章は検索結果のランキングについて書かれていました。 特にこの2章に関しては、正直難しい内容で内容を理解できたとはいえないですが、さまざまな手法や研究が紹介されているのと参考文献もとても多く記載されていたのでこれから学んでいくにとても役立ちそうだと感じました。 この一冊を読んだだけでも、検索システムについて考えなければいけないことや研究されていることが大量にあり難しく面白い分野だなと思えたのがよかったです。 今後の学習の良いきっかけになったと思います。

こんにちは、 @kz_morita です。 今回は，検索エンジンなどの，クエリと文書のマッチ度に使われる BM25 の式を読み解いていきます． BM25 とは BM25 は，検索システムにおいて，クエリが文書とどれだけマッチしているかについてを計算するための手法になります． 式で表すと以下になります． $$ score(D, Q) = \sum^{n}_{i=1} IDF (q_i) \cdot \frac{f(q_i, D) \cdot (k_1 + 1)} {f(q_i, D) + k_1 \cdot (1 - b + b \cdot \frac{|D|}{avgdl})} $$ これらの式の意味を一つずつ見ていきます． 各種変数の意味 上記の式の score 関数に登場する各種変数について見ていきます． D 検索対象の特定の文書の文字列集合 |D| 検索対象の特定の文書の文字列集合の大きさ (どれくらいの単語量 ≒ 文書量) なのか avgdl 全文書の文字列集合の大きさの平均 Q 検索クエリの文字列集合 q 検索クエリの１つの単語 IDF関数 Inverse Document Frequency の略．いろんな文書に登場する一般的な単語だと値が小さく，レアな単語だと値が大きい f 関数 検索クエリの単語が対象の文書の中でどのくらい現れるかの指標．tf (Term Frequency) であったり，純粋な数のカウントだったりする．tf の場合は，以下のような式になる $$ tf = \frac{ある単語の出現回数}{全単語の合計数} $$