weight가중치

weight(가중치)는 신경망에서 한 신호가 다음 계산에 미치는 영향을 정하는 학습 가능한 수치다. 학습 과정에서 조정되며, 여러 weight가 행렬이나 텐서 형태로 저장된다. 학습률처럼 사람이 미리 정하는 하이퍼파라미터와 달리 학습 결과로 얻어진다.

대규모 언어 모델의 weight는 모델 파일에 저장되며, 로컬에서 모델을 실행할 때 메모리에 적재된다. ‘model weights’는 편향 등 학습된 매개변수 전체를 통칭하기도 하지만, 모델 구조나 실행 코드까지 뜻하지는 않는다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.