softmax

소프트맥스

실수 벡터를 합이 1인 확률 분포로 바꾸는 함수로, 언어 모델의 다음 token 확률과 attention 가중치 계산에 쓰인다.

기사 1편최근 언급

softmax는 실수 벡터를 합이 1인 확률 분포로 바꾸는 함수다. 각 값에 지수 함수를 적용한 뒤 전체 합으로 나누며, 큰 값일수록 더 큰 확률을 갖는다.

언어 모델에서는 마지막 층의 logit을 어휘 전체에 대한 다음 token 확률로 바꾸는 데 쓰이고, attention에서는 query와 key의 점수를 가중치로 정규화하는 데 쓰인다. temperature는 softmax에 넣기 전 logit을 나누는 값으로, 분포가 뾰족한 정도를 조절한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    temperature logit을 T로 나눈 뒤 softmax로 다시 정규화 낮으면 뾰족하게, 높으면 평평하게

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.