Hugging Face Transformers

Hugging Faceが開発したオープンソースのPythonライブラリで、事前学習済みモデルとトークナイザーを統一APIで取得して利用できる。

記事1本最終言及

Hugging Face Transformersは、Hugging Faceが開発・保守するオープンソースのPythonライブラリである。2018年にBERTをPyTorchへ移植したpytorch-pretrained-bertとして始まり、2019年にTransformersへ改名された。Hugging Face Hubに公開されている多数の事前学習済みモデルを数行のコードで取得し、推論やファインチューニングに使えるようにする。

AutoModelやAutoTokenizerなどのAutoクラスはモデル名だけから適切なアーキテクチャとトークナイザーを自動的に読み込み、pipeline APIはテキスト生成や分類などのタスクを1行で実行する。トークナイザーのチャットテンプレート機能は、会話メッセージをモデルが要求する特殊トークン形式へ変換する。主にPyTorch上で動作し、自然言語処理に加えて画像や音声のモデルも扱える。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • LLMはどう作られるか、事前学習・SFT・GRPOの3段階を基礎から解説AI性能 ·

    Alibaba CloudのQwen2-0.5Bは5億パラメータのオープンウェイトモデルで、無料のGoogle ColabノートブックのNVIDIA T4 GPU上で、Hugging Face Transformersのpipelineを通じて読み込めます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。