speculative decoding(추측 디코딩)은 대규모 언어 모델의 텍스트 생성 속도를 높이는 추론 기법이다. 작고 빠른 초안(draft) 모델이 다음 token 여러 개를 먼저 제안하고, 큰 목표 모델이 그 후보들을 한 번의 forward pass로 병렬 검증해 맞는 부분까지 받아들이고 틀린 지점부터는 자신의 예측으로 바꾼다. 검증 규칙을 적절히 설계하면 출력 분포가 목표 모델 혼자 생성할 때와 같아 결과 품질은 유지되면서 단계 수가 줄어든다.
2022년에서 2023년 사이 Google과 DeepMind 연구진이 각각 발표한 논문으로 널리 알려졌다. 자기회귀 생성은 token을 하나씩 만들 때마다 모델 전체를 거쳐야 해 GPU 연산보다 메모리 대역폭에 묶이는데, speculative decoding은 한 번의 forward pass로 여러 token을 확정해 이 병목을 완화한다. 별도 초안 모델 대신 목표 모델에 붙인 multi-token prediction(MTP) head나 n-gram 추정으로 초안을 만드는 변형도 있으며, vLLM, llama.cpp 등 주요 추론 엔진이 지원한다.