gradient descent(경사 하강법)는 미분 가능한 함수의 최솟값을 반복 계산으로 찾는 최적화 알고리즘이다. 현재 parameter에서 loss 함수의 gradient(기울기)를 구하고, loss가 가장 빨리 커지는 방향의 반대쪽으로 learning rate에 비례한 만큼 parameter를 옮기는 과정을 반복한다. 신경망 학습에서는 backpropagation으로 구한 gradient를 이 알고리즘에 넘겨 weight를 갱신한다.
전체 데이터로 gradient를 계산하는 batch 방식 대신 일부 데이터(mini-batch)만으로 추정하는 stochastic gradient descent(SGD)가 실무에서 널리 쓰이며, 이동 방향과 보폭을 조정하는 momentum, Adam 같은 변형 알고리즘도 모두 경사 하강법에 기초한다.