autograd

자동 미분

신경망 학습에서 loss를 각 parameter로 미분한 기울기를 계산 그래프를 따라 자동으로 구하는 자동 미분 기능이다.

기사 1편최근 언급

autograd는 automatic differentiation(자동 미분)의 줄임말로, 프로그램이 수행한 연산을 기록해 두고 그 기록을 거슬러 가며 출력에 대한 각 입력의 미분값을 자동으로 계산하는 기법과 그 구현을 가리킨다. 딥러닝 프레임워크에서는 forward pass의 모든 연산을 계산 그래프로 저장하고, backpropagation으로 loss에 대한 모든 parameter의 gradient를 한 번에 구하는 엔진을 뜻한다. PyTorch의 torch.autograd 모듈, JAX의 grad 변환, TensorFlow의 GradientTape가 대표적이다.

자동 미분은 수식을 사람이 직접 미분하는 기호 미분이나 작은 차분으로 근사하는 수치 미분과 달리, 연쇄 법칙을 연산 단위로 적용해 정확한 미분값을 효율적으로 얻는다. 이 덕분에 parameter가 수십억 개인 모델도 사람이 미분식을 쓰지 않고 gradient descent로 학습할 수 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    이 일을 PyTorch, JAX, TensorFlow 같은 autograd(자동 미분) 엔진이 맡습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.