マルチトークン予測multi-token prediction
マルチトークン予測は、言語モデルが次の1トークンだけでなく、複数のトークンを一度に予測するようにする手法である。
記事1本
最終言及 マルチトークン予測は一般にMTPと略され、学習時に複数のトークンをまとめて予測させて学習効率を高めたり、推論時に下書きのトークンを先に作り、投機的デコードで生成を速めたりするのに使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。