普遍近似定理は、隠れ層が1つしかない順伝播型ニューラルネットワークであっても、非線形活性化関数と十分な数のニューロンを備えていれば、有界領域上の任意の連続関数を望むだけ小さい誤差で近似できるという定理である。1989年にGeorge Cybenkoがシグモイド関数について証明し、1991年にKurt Hornikが一般の非線形活性化関数へ拡張した。
この定理は、線形モデルでは捉えられない複雑な関係をニューラルネットワークが学習できることの理論的根拠を与える。ただし近似が可能であるという存在証明にとどまり、必要なニューロン数や、その重みを勾配降下法で実際に見つけられるかは保証しない。実務で深いネットワークが使われるのは、同じ表現力をはるかに少ないパラメータで効率的に得られるためである。