PyTorch

Meta的AI研究团队于2016年发布的开源深度学习框架,以动态计算图和自动微分为特点。

1篇文章最近提及

PyTorch是Facebook(现Meta)的AI研究团队FAIR于2016年发布的开源深度学习框架。它以Python重新设计了基于Lua的Torch库,提供GPU加速的张量运算和autograd自动微分引擎。其采用边执行代码边构建计算图的动态方式(define-by-run),可以像普通Python代码一样调试。

标准训练循环中,模型以torch.nn.Module类定义,由loss.backward()计算梯度,再由optimizer.step()更新参数。2022年其治理移交至Linux Foundation旗下的PyTorch Foundation。它是包括Hugging Face Transformers在内的大多数LLM研究和开放模型实现所采用的事实标准框架。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    但参数有数十亿个时,手动就不可能了,这正是PyTorch、JAX、TensorFlow等自动微分框架的用武之地。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。