《Lost in the Middle: How Language Models Use Long Contexts》是斯坦福大学Nelson F. Liu等人于2023年发表的论文。在给模型多篇文档并要求其找出答案的实验中,当相关信息位于输入的开头或结尾时语言模型的准确率较高,而位于中间时则大幅下降,呈U形性能曲线。支持长上下文窗口的模型也表现出同样的倾向。
这一现象被称为“lost in the middle”,在RAG(检索增强生成)中文档的排列顺序、长提示词的组织、以及把给智能体的指令放在上下文首尾的设计等LLM应用实践中被频繁引用。