初回トークン生成時間Time To First Token
Time To First Token（TTFT）は、言語モデルへの要求から最初のトークンが出力されるまでの時間を指す。
記事2本
最終言及 Time To First Token（TTFT）は、言語モデルが要求を受けて入力プロンプトを処理し、最初のトークンを出力するまでの時間を示す。応答が始まるまでの遅延を測る指標である。
出力開始後に1秒当たり何トークンを生成するかを示す生成速度とは異なる。入力の長さやモデルの実行環境によって値は変わる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
最初のトークンまでの時間、すなわちTTFTは、モデルがプロンプトを受け取ってから応答を始めるまでの時間です。