autogradはautomatic differentiation(自動微分)の略で、プログラムが実行した演算を記録し、その記録をさかのぼって出力に対する各入力の微分値を自動的に計算する手法とその実装を指す。深層学習フレームワークでは、順伝播のすべての演算を計算グラフとして保存し、誤差逆伝播法によって損失に対するすべてのパラメータの勾配を一度に求めるエンジンを意味する。PyTorchのtorch.autogradモジュール、JAXのgrad変換、TensorFlowのGradientTapeが代表例である。
自動微分は、人が式を微分する記号微分や、小さな差分で近似する数値微分とは異なり、連鎖律を演算単位で適用して正確な微分値を効率的に得る。これにより、数十億のパラメータを持つモデルでも、人が微分式を書くことなく勾配降下法で学習できる。