learning rate

학습률

gradient descent에서 gradient 방향으로 parameter를 한 번에 얼마나 옮길지 정하는 비율로, 신경망 학습의 핵심 hyperparameter다.

기사 1편최근 언급

learning rate(학습률)는 gradient descent로 모델을 학습할 때 각 step에서 parameter를 gradient의 반대 방향으로 얼마나 옮길지 정하는 양의 실수다. 갱신식은 보통 '새 parameter = 현재 parameter − learning rate × gradient' 형태로, learning rate가 클수록 한 번에 크게 움직인다. 학습 전에 사람이 정하는 hyperparameter 가운데 성능에 가장 큰 영향을 주는 값으로 꼽힌다.

값이 너무 크면 loss가 진동하거나 발산하고, 너무 작으면 수렴이 지나치게 느리거나 나쁜 지점에 머문다. 이 때문에 학습 초반에 서서히 올리는 warmup, 진행에 따라 낮추는 decay나 cosine schedule, Adam처럼 parameter별로 보폭을 자동 조정하는 optimizer가 함께 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    어떤 weight를 1만큼 올렸을 때 loss가 3만큼 커진다면 반대 방향으로 learning rate(학습률)만큼 살짝 내리는 식입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.