Hugging Face Transformers

Hugging Face开发的开源Python库,提供统一API用于下载并运行预训练模型和分词器。

1篇文章最近提及

Hugging Face Transformers是由Hugging Face开发和维护的开源Python库。它于2018年以pytorch-pretrained-bert(BERT的PyTorch移植版)起步,2019年更名为Transformers,使开发者能用几行代码下载Hugging Face Hub上托管的大量预训练模型,用于推理和微调。

AutoModel、AutoTokenizer等Auto类仅凭模型名称即可自动加载相应的架构和分词器,pipeline API则能用一次调用完成文本生成、分类等任务。分词器的聊天模板功能可将对话消息转换为模型所要求的特殊标记格式。该库主要基于PyTorch运行,除自然语言处理外也支持视觉和语音模型。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 从预训练到GRPO:前沿大模型是如何炼成的AI性能 ·

    阿里云的Qwen2-0.5B是一个5亿参数的开放权重模型,可以在免费的Google Colab笔记本中,用英伟达T4 GPU通过Hugging Face Transformers的pipeline加载。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。