BM25
BM25は、検索語が文書に現れる頻度や文書の長さなどをもとに関連度を採点する、キーワード検索のランキング関数である。
記事1本
最終言及 BM25（Okapi BM25）は、確率的情報検索モデルに基づく文書のランキング関数で、Okapi情報検索システムに由来する。検索語が文書に現れる頻度、その語が文書全体の中でどれだけ珍しいか、文書の長さを組み合わせて点数を付ける。TF-IDF系の手法であり、Apache LuceneやElasticsearchといった検索エンジンの標準のランキング方式として使われている。
AI分野では、RAGなどの資料検索で、埋め込みを使うセマンティック検索と組み合わせたハイブリッド検索の一方の柱として使われる。語の完全一致に頼るため、同義語や言い換えは捉えられない。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。