梯度下降

gradient descent

沿梯度的反方向逐步小幅调整参数、以寻找函数最小值的优化算法。

2篇文章最近提及

梯度下降是一种通过迭代计算寻找可微函数最小值的优化算法。它在当前参数处计算损失函数的梯度,然后沿损失增长最快方向的反方向、按与学习率成比例的步长移动参数,并重复这一过程直到损失不再下降。在神经网络训练中,反向传播得到的梯度被交给该算法用于更新权重。

实践中,用小批量数据而非全部数据估计梯度的随机梯度下降(SGD)被广泛使用,而调整方向与步长的momentum、Adam等优化器也都建立在梯度下降的基础之上。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    权重初始为随机值,所以早期的前向传播只会产生噪声,直到梯度下降完成训练。

    阅读文章
  • AI可信与否取决于推理能否审计,而非风险警告AI伦理 ·

    机制可解释性是研究模型内部组件、以解释其决策的领域,但它面临严峻的局限:用梯度下降训练出来的网络,表现得更像复杂的生命体,而不像零件可供检查的机器。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。