nanoGPT
nanoGPTは、アンドレイ・カルパシーが公開した、GPT型の言語モデルを学習させるための簡潔なオープンソースコード。
記事1本
最終言及 nanoGPTは、アンドレイ・カルパシーがGitHubで公開したオープンソースプロジェクトである。中規模のGPTモデルの学習やファインチューニングを、PythonとPyTorchによる短く読みやすいコードで実装しており、パラメーター数1億2400万のGPT-2をゼロから学習して再現する例を含む。
コードが簡潔なため、言語モデルの学習の仕組みを学ぶ教材や実験の出発点として広く使われている。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。