PyTorch는 2016년 Facebook(현 Meta)의 AI 연구 조직 FAIR가 공개한 오픈소스 딥러닝 프레임워크다. Lua 기반 라이브러리 Torch를 Python으로 다시 설계한 것으로, GPU 가속 tensor 연산과 autograd 자동 미분 엔진을 제공한다. 코드를 실행하면서 계산 그래프를 만드는 동적 방식(define-by-run)을 채택해 일반 Python 코드처럼 디버깅할 수 있다는 점이 특징이다.
모델은 torch.nn.Module 클래스로 정의하고, loss.backward()로 gradient를 계산한 뒤 optimizer.step()으로 parameter를 갱신하는 학습 루프가 기본 구조다. 2022년 Linux Foundation 산하 PyTorch Foundation으로 관리가 이관됐으며, Hugging Face Transformers를 비롯한 대다수 LLM 연구와 공개 모델 구현의 표준 프레임워크로 쓰인다.