multi-token prediction멀티 토큰 예측
multi-token prediction은 언어 모델이 다음 token 하나가 아니라 여러 token을 한 번에 예측하도록 하는 기법이다.
기사 1편
최근 언급 multi-token prediction은 흔히 MTP로 줄여 부르며, 학습 때 여러 token을 함께 예측하게 해 학습 효율을 높이거나, 추론 때 초안 token을 미리 만들어 speculative decoding으로 생성 속도를 높이는 데 쓰인다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.