自動微分

autograd

計算を記録し、損失に対する各パラメータの勾配を計算グラフに沿って自動的に求める自動微分の仕組みである。

記事1本最終言及

autogradはautomatic differentiation(自動微分)の略で、プログラムが実行した演算を記録し、その記録をさかのぼって出力に対する各入力の微分値を自動的に計算する手法とその実装を指す。深層学習フレームワークでは、順伝播のすべての演算を計算グラフとして保存し、誤差逆伝播法によって損失に対するすべてのパラメータの勾配を一度に求めるエンジンを意味する。PyTorchのtorch.autogradモジュール、JAXのgrad変換、TensorFlowのGradientTapeが代表例である。

自動微分は、人が式を微分する記号微分や、小さな差分で近似する数値微分とは異なり、連鎖律を演算単位で適用して正確な微分値を効率的に得る。これにより、数十億のパラメータを持つモデルでも、人が微分式を書くことなく勾配降下法で学習できる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    しかし数十億のパラメータでは不可能で、ここでPyTorch、JAX、TensorFlowといった自動微分フレームワークが登場します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。