Lost in the Middle

「Lost in the Middle」は、言語モデルが長い入力の先頭と末尾の情報はよく利用するが中間の情報を見落としやすいことを示した、スタンフォード大学の研究者らによる2023年の論文である。

記事1本最終言及

「Lost in the Middle: How Language Models Use Long Contexts」は、スタンフォード大学のNelson F. Liuらが2023年に発表した論文である。複数の文書を入力として与え答えを探させる実験で、関連情報が入力の先頭または末尾にあるときは言語モデルの精度が高いが、中間にあるときは大きく低下するU字型の性能曲線を示した。長いコンテキストウィンドウに対応するモデルでも同様の傾向が見られた。

この現象は「lost in the middle」と呼ばれ、RAG(検索拡張生成)で文書を並べる順序、長いプロンプトの構成、エージェントへの指示をコンテキストの前後に置く設計など、LLM活用の実務で頻繁に引用される根拠となっている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 具体例とTDDでAIコーディングの正答率が27%から94%に上がるEXACT手法AI活用 ·

    コンテキストウィンドウが大きくなるにつれて性能が落ち、チームはこれをスタンフォード大学の論文「Lost in the Middle: How Language Models Use Long Contexts」と結びつけました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。