普遍近似定理

Universal Approximation Theorem

非線形活性化関数を持つニューラルネットワークは、十分な数のニューロンがあれば任意の連続関数を望む精度で近似できるという数学的定理である。

記事1本最終言及

普遍近似定理は、隠れ層が1つしかない順伝播型ニューラルネットワークであっても、非線形活性化関数と十分な数のニューロンを備えていれば、有界領域上の任意の連続関数を望むだけ小さい誤差で近似できるという定理である。1989年にGeorge Cybenkoがシグモイド関数について証明し、1991年にKurt Hornikが一般の非線形活性化関数へ拡張した。

この定理は、線形モデルでは捉えられない複雑な関係をニューラルネットワークが学習できることの理論的根拠を与える。ただし近似が可能であるという存在証明にとどまり、必要なニューロン数や、その重みを勾配降下法で実際に見つけられるかは保証しない。実務で深いネットワークが使われるのは、同じ表現力をはるかに少ないパラメータで効率的に得られるためである。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    万能近似定理によれば、非線形性と十分なパラメータを持つネットワークは、本質的にあらゆる連続関数を近似できます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。