勾配降下法

gradient descent

損失が減る方向、すなわち勾配の逆方向にパラメータを少しずつ動かして関数の最小値を探す最適化アルゴリズムである。

記事2本最終言及

勾配降下法は、微分可能な関数の最小値を反復計算で求める最適化アルゴリズムである。現在のパラメータにおける損失関数の勾配を求め、損失が最も急に増える方向の逆向きに学習率に比例した分だけパラメータを動かす手順を繰り返す。ニューラルネットワークの学習では、誤差逆伝播法で得た勾配をこのアルゴリズムに渡して重みを更新する。

実務では、全データで勾配を計算するバッチ方式ではなく、一部のデータ(ミニバッチ)だけで勾配を推定する確率的勾配降下法(SGD)が広く使われ、移動方向や歩幅を調整するmomentumやAdamなどの派生アルゴリズムもすべて勾配降下法に基づいている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    重みは乱数で初期化されるため、勾配降下法で学習が進むまで、初期の順伝播はノイズしか生みません。

    記事を読む
  • AIを信頼できるかは推論を検証できるかで決まる、危険の警告より大切な基準AI倫理 ·

    勾配降下法で学習したネットワークは、部品を点検できる機械というより、複雑な生き物のように振る舞うからです。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。