Universal Approximation Theorem(보편 근사 정리)은 은닉층이 하나뿐인 feedforward 신경망이라도 비선형 activation function과 충분히 많은 뉴런을 갖추면, 유계 영역에서 정의된 임의의 연속 함수를 원하는 만큼 작은 오차로 근사할 수 있다는 정리다. 1989년 George Cybenko가 sigmoid 함수에 대해 증명하고, 1991년 Kurt Hornik이 일반적인 비선형 activation function으로 확장했다.
이 정리는 선형 모델로는 담을 수 없는 복잡한 관계를 신경망이 학습할 수 있다는 이론적 근거를 제공한다. 다만 근사가 가능하다는 존재 증명일 뿐, 필요한 뉴런 수나 그 weight를 gradient descent로 실제로 찾을 수 있는지는 보장하지 않으며, 실무에서 깊은 신경망을 쓰는 이유는 같은 표현력을 훨씬 적은 parameter로 효율적으로 얻기 때문이다.