通用近似定理指出,即使只有一个隐藏层的前馈神经网络,只要具备非线性激活函数和足够多的神经元,就能以任意小的误差逼近定义在有界区域上的任何连续函数。George Cybenko于1989年针对sigmoid函数给出证明,Kurt Hornik于1991年将其推广到一般的非线性激活函数。
该定理为神经网络能够学习线性模型无法刻画的复杂关系提供了理论依据。但它只是存在性结论,并不说明需要多少神经元,也不保证梯度下降能实际找到所需权重。实践中使用深层网络,是因为它能以远少的参数高效地获得同等表达能力。
Universal Approximation Theorem
数学定理,指具有非线性激活函数且神经元足够多的神经网络可以以任意精度逼近任何连续函数。
通用近似定理指出,即使只有一个隐藏层的前馈神经网络,只要具备非线性激活函数和足够多的神经元,就能以任意小的误差逼近定义在有界区域上的任何连续函数。George Cybenko于1989年针对sigmoid函数给出证明,Kurt Hornik于1991年将其推广到一般的非线性激活函数。
该定理为神经网络能够学习线性模型无法刻画的复杂关系提供了理论依据。但它只是存在性结论,并不说明需要多少神经元,也不保证梯度下降能实际找到所需权重。实践中使用深层网络,是因为它能以远少的参数高效地获得同等表达能力。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
通用近似定理指出,一个带非线性且参数足够多的网络,基本上可以逼近任何连续函数。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。