勾配降下法は、微分可能な関数の最小値を反復計算で求める最適化アルゴリズムである。現在のパラメータにおける損失関数の勾配を求め、損失が最も急に増える方向の逆向きに学習率に比例した分だけパラメータを動かす手順を繰り返す。ニューラルネットワークの学習では、誤差逆伝播法で得た勾配をこのアルゴリズムに渡して重みを更新する。
実務では、全データで勾配を計算するバッチ方式ではなく、一部のデータ(ミニバッチ)だけで勾配を推定する確率的勾配降下法(SGD)が広く使われ、移動方向や歩幅を調整するmomentumやAdamなどの派生アルゴリズムもすべて勾配降下法に基づいている。