PyTorchは、2016年にFacebook(現Meta)のAI研究組織FAIRが公開したオープンソースの深層学習フレームワークである。Luaベースのライブラリ Torch をPythonで再設計したもので、GPUで高速化されたテンソル演算とautogradによる自動微分エンジンを提供する。コードの実行と同時に計算グラフを構築する動的方式(define-by-run)を採用しており、通常のPythonコードと同じようにデバッグできる点が特徴である。
モデルはtorch.nn.Moduleクラスで定義し、loss.backward()で勾配を計算した後にoptimizer.step()でパラメータを更新する学習ループが基本構造となる。2022年にLinux Foundation傘下のPyTorch Foundationへ運営が移管され、Hugging Face Transformersをはじめ大多数のLLM研究や公開モデル実装の標準フレームワークとして使われている。