Unsloth

开发快速、省内存的LLM微调开源库并发布量化模型的美国AI初创公司。

2篇文章最近提及

Unsloth是一家美国AI初创公司,开发同名开源库,用于以更快速度和更少内存对大语言模型进行微调。公司由兄弟Daniel Han和Michael Han于2023年创立,总部位于旧金山。该库对注意力和反向传播内核进行了手工优化,使LoRA和QLoRA训练比Hugging Face标准实现更快,同时降低GPU内存占用。

它支持Llama、Qwen、Gemma、DeepSeek等主要开放模型,由于可在单张消费级GPU或Google Colab免费环境中完成训练,在个人开发者和研究者中广受使用。Unsloth还在Hugging Face上发布以GGUF等格式转换的开放模型量化版本,并以对不同层采用不同精度的Dynamic量化(UD)方法而知名。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 16GB显卡跑满128k上下文:ByteShape 3位量化27B模型实测AI性能 ·

    同一组任务此前也跑过Unsloth以Q3KXL量化的基础Qwen模型,那是一个更大的文件。

    阅读文章
  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    测试采用Unsloth提供的Qwen 3.8 27B UD Q4KXL GGUF文件,通过llama.cpp的llama-server提供服务。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。