多token预测multi-token prediction
多token预测是让语言模型一次预测多个后续token、而不只预测下一个token的技术。
1篇文章
最近提及 多token预测通常简称MTP，既可在训练时让模型同时预测多个token以提高训练效率，也可在推理时预先生成草稿token，通过推测解码加快生成速度。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
多token预测是让语言模型一次预测多个后续token、而不只预测下一个token的技术。
多token预测通常简称MTP，既可在训练时让模型同时预测多个token以提高训练效率，也可在推理时预先生成草稿token，通过推测解码加快生成速度。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
AIPOST是一家报道AI应用方法、AI安全、性能、创业、健康、伦理与行业资讯的AI专业媒体。无需注册即可使用，个人信息的处理方式请参阅隐私政策。