Muon뮤온

Muon은 Keller Jordan 등이 2024년에 제안한 신경망 학습용 최적화 알고리즘(optimizer)이다. 이름은 'MomentUm Orthogonalized by Newton-Schulz'에서 따왔으며, 모멘텀으로 구한 갱신값을 Newton-Schulz 반복으로 직교 행렬에 가깝게 바꾼 뒤 가중치에 적용한다.

Muon은 주로 은닉층의 2차원 가중치 행렬에 쓰이고, embedding과 출력층 같은 나머지 파라미터에는 AdamW 같은 기존 optimizer를 함께 쓴다. 모든 파라미터를 원소별로 조정하는 Adam 계열과 달리 행렬 단위로 갱신 방향을 정한다는 점이 다르다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.