top-k

다음 token 후보를 확률 상위 k개로 제한한 뒤 그 안에서 sampling하는 decoding 기법이다.

기사 1편최근 언급

top-k sampling은 언어 모델이 다음 token을 고를 때 확률이 높은 상위 k개 후보만 남기고 그 안에서 확률에 따라 sampling하는 decoding 기법이다. 후보 수가 k로 고정되므로 확률이 아주 낮은 token이 뽑히는 것을 막으면서 greedy decoding보다 다양한 출력을 낸다.

누적 확률 기준으로 후보를 정하는 top-p와 달리 분포 모양과 무관하게 후보 수가 같다. 보통 temperature, top-p와 함께 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    top-k 상위 k개(예: 5개) 안에서만 sampling 후보 수가 고정

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.