首 Token 延迟Time To First Token
Time To First Token(TTFT)是语言模型收到请求后,处理输入并输出首个 token 所需的时间。
1篇文章
最近提及 Time To First Token(TTFT)指语言模型收到请求、处理输入提示词并输出首个 token 所需的时间,用于衡量开始响应前的延迟。
它不同于开始输出后每秒生成的 token 数量。输入长度和模型运行环境都可能影响这一指标。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。