PyTorch

MetaのAI研究組織が2016年に公開したオープンソースの深層学習フレームワークで、動的計算グラフと自動微分を提供する。

記事1本最終言及

PyTorchは、2016年にFacebook(現Meta)のAI研究組織FAIRが公開したオープンソースの深層学習フレームワークである。Luaベースのライブラリ Torch をPythonで再設計したもので、GPUで高速化されたテンソル演算とautogradによる自動微分エンジンを提供する。コードの実行と同時に計算グラフを構築する動的方式(define-by-run)を採用しており、通常のPythonコードと同じようにデバッグできる点が特徴である。

モデルはtorch.nn.Moduleクラスで定義し、loss.backward()で勾配を計算した後にoptimizer.step()でパラメータを更新する学習ループが基本構造となる。2022年にLinux Foundation傘下のPyTorch Foundationへ運営が移管され、Hugging Face Transformersをはじめ大多数のLLM研究や公開モデル実装の標準フレームワークとして使われている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    しかし数十億のパラメータでは不可能で、ここでPyTorch、JAX、TensorFlowといった自動微分フレームワークが登場します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。