Universal Approximation Theorem

보편 근사 정리

비선형 activation function을 가진 신경망이 충분한 뉴런만 있으면 임의의 연속 함수를 원하는 정밀도로 근사할 수 있다는 수학 정리다.

기사 1편최근 언급

Universal Approximation Theorem(보편 근사 정리)은 은닉층이 하나뿐인 feedforward 신경망이라도 비선형 activation function과 충분히 많은 뉴런을 갖추면, 유계 영역에서 정의된 임의의 연속 함수를 원하는 만큼 작은 오차로 근사할 수 있다는 정리다. 1989년 George Cybenko가 sigmoid 함수에 대해 증명하고, 1991년 Kurt Hornik이 일반적인 비선형 activation function으로 확장했다.

이 정리는 선형 모델로는 담을 수 없는 복잡한 관계를 신경망이 학습할 수 있다는 이론적 근거를 제공한다. 다만 근사가 가능하다는 존재 증명일 뿐, 필요한 뉴런 수나 그 weight를 gradient descent로 실제로 찾을 수 있는지는 보장하지 않으며, 실무에서 깊은 신경망을 쓰는 이유는 같은 표현력을 훨씬 적은 parameter로 효율적으로 얻기 때문이다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    Universal Approximation Theorem(보편 근사 정리)에 따르면 비선형 함수와 충분한 parameter(매개변수)를 가진 신경망은 거의 모든 연속 함수를 근사할 수 있습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.