OOLONGは、言語モデルが長いコンテキスト全体に散らばった情報を読んで集約し回答する能力を測る長文脈ベンチマークで、2025年に公開された。特定の一文を探すneedle-in-a-haystack課題とは異なり、コンテキスト内の多数の項目を一つずつ処理して集計・推論する必要がある課題で構成される。
コンテキスト長が長くなるほどモデルのスコアが大きく低下する現象を示すために使われ、長文脈処理技術の評価に用いられる。
長いコンテキスト全体に散らばった情報を読んで集約し回答する能力を測る長文脈ベンチマーク。
OOLONGは、言語モデルが長いコンテキスト全体に散らばった情報を読んで集約し回答する能力を測る長文脈ベンチマークで、2025年に公開された。特定の一文を探すneedle-in-a-haystack課題とは異なり、コンテキスト内の多数の項目を一つずつ処理して集計・推論する必要がある課題で構成される。
コンテキスト長が長くなるほどモデルのスコアが大きく低下する現象を示すために使われ、長文脈処理技術の評価に用いられる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
多数の文書にまたがる推論と集約を試すOOLONGベンチマークでは、Gemini 2.5 Pro、Claude Sonnet 4、GPT-5を含む主要モデルのスコアが、8kトークンで90パーセント近くだったものが512kトークンではおよそ10から40パーセントに落ちます。
記事を読む事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。