学习率是用梯度下降训练模型时,决定每一步将参数沿梯度反方向移动多少的正实数。更新公式通常为“新参数 = 当前参数 − 学习率 × 梯度”,学习率越大,每步移动的幅度越大。在训练前由人工设定的超参数中,它通常被认为对结果影响最大。
取值过大会使损失震荡或发散,过小则收敛极慢或停留在较差的位置。因此实践中常配合训练初期逐步升高的warmup、随训练进程降低的衰减或余弦调度,以及像Adam那样按参数自动调整步长的优化器一起使用。
learning rate
梯度下降中决定每一步沿梯度方向移动参数幅度的系数,是神经网络训练的关键超参数。
学习率是用梯度下降训练模型时,决定每一步将参数沿梯度反方向移动多少的正实数。更新公式通常为“新参数 = 当前参数 − 学习率 × 梯度”,学习率越大,每步移动的幅度越大。在训练前由人工设定的超参数中,它通常被认为对结果影响最大。
取值过大会使损失震荡或发散,过小则收敛极慢或停留在较差的位置。因此实践中常配合训练初期逐步升高的warmup、随训练进程降低的衰减或余弦调度,以及像Adam那样按参数自动调整步长的优化器一起使用。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
每次推动的幅度由学习率决定。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。