RULERは言語モデルの長文脈処理能力を測るベンチマークで、2024年にNVIDIAの研究者が発表した。needle-in-a-haystack課題を拡張し、複数情報の検索、多段階の追跡、集計、質問応答の課題を任意の長さで合成して評価する。
モデルが掲げる最大コンテキスト長と実際に性能が維持される長さの差を明らかにするために使われ、transformerと線形アテンション系モデルの長文脈検索能力の比較にも用いられる。
needle-in-a-haystackを拡張し、言語モデルの長文脈処理能力をさまざまな長さで測るベンチマーク。
RULERは言語モデルの長文脈処理能力を測るベンチマークで、2024年にNVIDIAの研究者が発表した。needle-in-a-haystack課題を拡張し、複数情報の検索、多段階の追跡、集計、質問応答の課題を任意の長さで合成して評価する。
モデルが掲げる最大コンテキスト長と実際に性能が維持される長さの差を明らかにするために使われ、transformerと線形アテンション系モデルの長文脈検索能力の比較にも用いられる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
RULERベンチマークのneedle-in-a-haystackタスクでは、エッセイのテキストにマジックナンバーを隠して末尾で問い合わせますが、Llama-2-7Bが8kトークンまで高い精度を保つのに対し、RWKV-v5-7BとMamba-2.8Bは2kから4kトークンを超えると急激に劣化します。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。