autograd是automatic differentiation(自动微分)的简称,指记录程序执行的运算,再回溯该记录自动计算输出对每个输入导数的技术及其实现。在深度学习框架中,它指将前向传播的全部运算保存为计算图,并通过反向传播一次性求出损失对所有参数梯度的引擎。代表性实现包括PyTorch的torch.autograd模块、JAX的grad变换和TensorFlow的GradientTape。
与由人推导公式的符号微分或用微小差分近似的数值微分不同,自动微分按运算逐步应用链式法则,高效地得到精确的导数值。正因如此,拥有数十亿参数的模型才能在无需人工书写导数公式的情况下用梯度下降进行训练。