学习率

learning rate

梯度下降中决定每一步沿梯度方向移动参数幅度的系数,是神经网络训练的关键超参数。

1篇文章最近提及

学习率是用梯度下降训练模型时,决定每一步将参数沿梯度反方向移动多少的正实数。更新公式通常为“新参数 = 当前参数 − 学习率 × 梯度”,学习率越大,每步移动的幅度越大。在训练前由人工设定的超参数中,它通常被认为对结果影响最大。

取值过大会使损失震荡或发散,过小则收敛极慢或停留在较差的位置。因此实践中常配合训练初期逐步升高的warmup、随训练进程降低的衰减或余弦调度,以及像Adam那样按参数自动调整步长的优化器一起使用。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    每次推动的幅度由学习率决定。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。