梯度下降是一种通过迭代计算寻找可微函数最小值的优化算法。它在当前参数处计算损失函数的梯度,然后沿损失增长最快方向的反方向、按与学习率成比例的步长移动参数,并重复这一过程直到损失不再下降。在神经网络训练中,反向传播得到的梯度被交给该算法用于更新权重。
实践中,用小批量数据而非全部数据估计梯度的随机梯度下降(SGD)被广泛使用,而调整方向与步长的momentum、Adam等优化器也都建立在梯度下降的基础之上。
gradient descent
沿梯度的反方向逐步小幅调整参数、以寻找函数最小值的优化算法。
梯度下降是一种通过迭代计算寻找可微函数最小值的优化算法。它在当前参数处计算损失函数的梯度,然后沿损失增长最快方向的反方向、按与学习率成比例的步长移动参数,并重复这一过程直到损失不再下降。在神经网络训练中,反向传播得到的梯度被交给该算法用于更新权重。
实践中,用小批量数据而非全部数据估计梯度的随机梯度下降(SGD)被广泛使用,而调整方向与步长的momentum、Adam等优化器也都建立在梯度下降的基础之上。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。