softmax는 실수 벡터를 합이 1인 확률 분포로 바꾸는 함수다. 각 값에 지수 함수를 적용한 뒤 전체 합으로 나누며, 큰 값일수록 더 큰 확률을 갖는다.
언어 모델에서는 마지막 층의 logit을 어휘 전체에 대한 다음 token 확률로 바꾸는 데 쓰이고, attention에서는 query와 key의 점수를 가중치로 정규화하는 데 쓰인다. temperature는 softmax에 넣기 전 logit을 나누는 값으로, 분포가 뾰족한 정도를 조절한다.