Needle-in-a-Haystack
Needle-in-a-Haystackは、長い文書の中に隠した短い情報を言語モデルが見つけられるかを調べる、長いコンテキストの評価手法である。
記事1本
最終言及 この評価では、無関係な長い文章のさまざまな位置に特定の文やパスキーを入れ、モデルにその内容を探させる。コンテキストの長さと隠した位置ごとに正答率を測り、大規模言語モデルがコンテキストウィンドウを実際にどこまで活用できるかを確かめるのに使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。