コンテキスト肥大化context bloat

コンテキスト肥大化（context bloat）は、大規模言語モデル（LLM）への入力であるコンテキストに、長い会話履歴や多数のツール定義、大きな文書など、目の前の作業に必要のない内容が過剰にたまる現象を指す。処理するトークンが増えるためコストと応答時間が大きくなり、モデルが重要な情報を見落として回答の質が下がることがある。

多くのツールを接続したAIエージェントで、ツールの説明がコンテキストウィンドウの大きな部分を占めるときによく起きる。その段階に必要なツールや情報だけをその都度読み込んだり、古い履歴を要約・削除したりすることで抑える。入力が長くなるほどモデルの性能が落ちる現象はコンテキスト・ロット（context rot）と呼ばれる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。