top-P톱P

top-P는 nucleus sampling이라고도 부르는 언어 모델의 생성 설정이다. 모델은 다음에 올 token의 후보를 확률이 높은 순서로 늘어놓고, 확률을 더한 값이 top-P 값에 이를 때까지의 후보 안에서만 다음 token을 고른다. 값이 작을수록 답이 보수적이고 일정해지며, 클수록 다양해진다.

답의 무작위성을 조절하는 temperature와 함께 쓰이는 경우가 많다. temperature가 확률 분포 자체를 평평하게 하거나 뾰족하게 만드는 반면, top-P는 고를 수 있는 후보의 범위를 자른다는 점이 다르다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.