Muon
Muon是一种在更新神经网络隐藏层权重矩阵时对动量更新进行正交化的优化算法。
1篇文章
最近提及 Muon是Keller Jordan等人于2024年提出的神经网络训练优化器。其名称取自“MomentUm Orthogonalized by Newton-Schulz”，先基于动量计算更新量，再通过牛顿-舒尔茨迭代将其变换为接近正交的矩阵，然后应用到权重上。
Muon主要用于隐藏层的二维权重矩阵，嵌入层和输出层等其余参数通常搭配AdamW等传统优化器训练。与逐个元素调整参数的Adam类方法不同，它以整个矩阵为单位确定更新方向。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。