learning rate(학습률)는 gradient descent로 모델을 학습할 때 각 step에서 parameter를 gradient의 반대 방향으로 얼마나 옮길지 정하는 양의 실수다. 갱신식은 보통 '새 parameter = 현재 parameter − learning rate × gradient' 형태로, learning rate가 클수록 한 번에 크게 움직인다. 학습 전에 사람이 정하는 hyperparameter 가운데 성능에 가장 큰 영향을 주는 값으로 꼽힌다.
값이 너무 크면 loss가 진동하거나 발산하고, 너무 작으면 수렴이 지나치게 느리거나 나쁜 지점에 머문다. 이 때문에 학습 초반에 서서히 올리는 warmup, 진행에 따라 낮추는 decay나 cosine schedule, Adam처럼 parameter별로 보폭을 자동 조정하는 optimizer가 함께 쓰인다.