自动微分

autograd

深度学习框架中记录计算过程、并沿计算图自动求出损失对每个参数梯度的自动微分机制。

1篇文章最近提及

autograd是automatic differentiation(自动微分)的简称,指记录程序执行的运算,再回溯该记录自动计算输出对每个输入导数的技术及其实现。在深度学习框架中,它指将前向传播的全部运算保存为计算图,并通过反向传播一次性求出损失对所有参数梯度的引擎。代表性实现包括PyTorch的torch.autograd模块、JAX的grad变换和TensorFlow的GradientTape。

与由人推导公式的符号微分或用微小差分近似的数值微分不同,自动微分按运算逐步应用链式法则,高效地得到精确的导数值。正因如此,拥有数十亿参数的模型才能在无需人工书写导数公式的情况下用梯度下降进行训练。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    但参数有数十亿个时,手动就不可能了,这正是PyTorch、JAX、TensorFlow等自动微分框架的用武之地。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。