backpropagation

역전파

신경망의 출력 오차를 출력층에서 입력층 방향으로 거슬러 전달하며 각 weight의 기울기를 계산하는 학습 알고리즘이다.

기사 1편최근 언급

backpropagation(역전파)은 신경망의 loss를 각 weight로 미분한 gradient를 효율적으로 계산하는 알고리즘이다. 입력에서 출력까지 계산하는 forward pass 뒤에, 출력에서 생긴 오차를 미분의 연쇄 법칙에 따라 층을 거슬러 전달하면서 모든 parameter의 기울기를 한 번의 역방향 계산으로 구한다. 구한 gradient는 gradient descent 같은 최적화 알고리즘이 weight를 조정하는 데 쓰인다.

이 알고리즘은 1986년 David Rumelhart, Geoffrey Hinton, Ronald Williams의 논문으로 널리 알려졌으며, 다층 신경망을 실용적으로 학습시킬 수 있게 한 핵심 기법으로 꼽힌다. 오늘날 PyTorch, TensorFlow, JAX 같은 프레임워크는 자동 미분 엔진으로 역전파를 자동 수행하므로 개발자가 미분식을 직접 쓰지 않는다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    이것이 backpropagation(역전파)과 gradient descent(경사 하강)이고, PyTorch 코드로는 loss.backward()가 기울기를 계산하고 optimizer.step()이 parameter를 움직이는 두 줄에 해당합니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.