PyTorch是Facebook(现Meta)的AI研究团队FAIR于2016年发布的开源深度学习框架。它以Python重新设计了基于Lua的Torch库,提供GPU加速的张量运算和autograd自动微分引擎。其采用边执行代码边构建计算图的动态方式(define-by-run),可以像普通Python代码一样调试。
标准训练循环中,模型以torch.nn.Module类定义,由loss.backward()计算梯度,再由optimizer.step()更新参数。2022年其治理移交至Linux Foundation旗下的PyTorch Foundation。它是包括Hugging Face Transformers在内的大多数LLM研究和开放模型实现所采用的事实标准框架。