プリフィルprefill
プリフィルは、大規模言語モデルが回答を生成する前に、入力されたプロンプト全体をまとめて処理する段階である。
記事1本
最終言及 プリフィルの段階では、モデルがプロンプトのすべてのトークンを並列に計算し、その後の生成に使うKVキャッシュを作る。トークンを1つずつ生み出す後続のデコード段階と異なり計算量が多いため、演算性能の影響を大きく受け、処理速度は一般に毎秒処理するトークン数で表される。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。