上下文膨胀context bloat

上下文膨胀（context bloat）指输入大语言模型（LLM）的上下文中堆积了冗长的对话记录、大量工具定义、大型文档等当前任务并不需要的内容。处理的token随之增加，成本和响应时间上升，模型还可能遗漏关键信息，导致回答质量下降。

这种现象常见于连接了大量工具的AI智能体，工具描述可能占据上下文窗口的很大一部分。常见的缓解办法是只按需加载当前步骤所需的工具和信息，并对较早的记录进行摘要或删除。输入越长、模型性能越差的现象则称为上下文腐化（context rot）。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。