top-k sampling은 언어 모델이 다음 token을 고를 때 확률이 높은 상위 k개 후보만 남기고 그 안에서 확률에 따라 sampling하는 decoding 기법이다. 후보 수가 k로 고정되므로 확률이 아주 낮은 token이 뽑히는 것을 막으면서 greedy decoding보다 다양한 출력을 낸다.
누적 확률 기준으로 후보를 정하는 top-p와 달리 분포 모양과 무관하게 후보 수가 같다. 보통 temperature, top-p와 함께 쓰인다.