gradient descent

경사 하강법

loss가 줄어드는 방향인 gradient의 반대 방향으로 parameter를 조금씩 옮겨 함수의 최솟값을 찾는 최적화 알고리즘이다.

기사 1편최근 언급

gradient descent(경사 하강법)는 미분 가능한 함수의 최솟값을 반복 계산으로 찾는 최적화 알고리즘이다. 현재 parameter에서 loss 함수의 gradient(기울기)를 구하고, loss가 가장 빨리 커지는 방향의 반대쪽으로 learning rate에 비례한 만큼 parameter를 옮기는 과정을 반복한다. 신경망 학습에서는 backpropagation으로 구한 gradient를 이 알고리즘에 넘겨 weight를 갱신한다.

전체 데이터로 gradient를 계산하는 batch 방식 대신 일부 데이터(mini-batch)만으로 추정하는 stochastic gradient descent(SGD)가 실무에서 널리 쓰이며, 이동 방향과 보폭을 조정하는 momentum, Adam 같은 변형 알고리즘도 모두 경사 하강법에 기초한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    이것이 backpropagation(역전파)과 gradient descent(경사 하강)이고, PyTorch 코드로는 loss.backward()가 기울기를 계산하고 optimizer.step()이 parameter를 움직이는 두 줄에 해당합니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.