学習率

learning rate

勾配降下法で各ステップにパラメータを勾配方向へどれだけ動かすかを決める係数で、ニューラルネットワーク学習の主要なハイパーパラメータである。

記事1本最終言及

学習率は、勾配降下法でモデルを学習する際、各ステップでパラメータを勾配の逆方向へどれだけ動かすかを決める正の実数である。更新式は通常「新しいパラメータ = 現在のパラメータ − 学習率 × 勾配」の形をとり、学習率が大きいほど一度に大きく動く。学習前に人が設定するハイパーパラメータの中で、結果に最も大きく影響する値とされる。

値が大きすぎると損失が振動または発散し、小さすぎると収束が極端に遅くなるか悪い地点にとどまる。そのため、学習初期に徐々に上げるウォームアップ、進行に応じて下げる減衰やコサインスケジュール、Adamのようにパラメータごとに歩幅を自動調整するオプティマイザと組み合わせて使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    1回に動かす幅は学習率で決まります。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。