Muon
Muonは、ニューラルネットワークの隠れ層の重み行列を更新する際に、モメンタム更新を直交化する最適化アルゴリズム。
記事1本
最終言及 Muonは、ケラー・ジョーダンらが2024年に提案したニューラルネットワーク学習用の最適化アルゴリズム（オプティマイザー）である。名称は「MomentUm Orthogonalized by Newton-Schulz」に由来し、モメンタムで求めた更新量をニュートン・シュルツ反復で直交行列に近づけてから重みに適用する。
主に隠れ層の2次元の重み行列に用いられ、埋め込み層や出力層などその他のパラメーターにはAdamWなど従来のオプティマイザーを併用する。パラメーターを要素ごとに調整するAdam系の手法とは異なり、行列単位で更新の方向を決める点に特徴がある。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。