backpropagation(역전파)은 신경망의 loss를 각 weight로 미분한 gradient를 효율적으로 계산하는 알고리즘이다. 입력에서 출력까지 계산하는 forward pass 뒤에, 출력에서 생긴 오차를 미분의 연쇄 법칙에 따라 층을 거슬러 전달하면서 모든 parameter의 기울기를 한 번의 역방향 계산으로 구한다. 구한 gradient는 gradient descent 같은 최적화 알고리즘이 weight를 조정하는 데 쓰인다.
이 알고리즘은 1986년 David Rumelhart, Geoffrey Hinton, Ronald Williams의 논문으로 널리 알려졌으며, 다층 신경망을 실용적으로 학습시킬 수 있게 한 핵심 기법으로 꼽힌다. 오늘날 PyTorch, TensorFlow, JAX 같은 프레임워크는 자동 미분 엔진으로 역전파를 자동 수행하므로 개발자가 미분식을 직접 쓰지 않는다.