Unsloth是一家美国AI初创公司,开发同名开源库,用于以更快速度和更少内存对大语言模型进行微调。公司由兄弟Daniel Han和Michael Han于2023年创立,总部位于旧金山。该库对注意力和反向传播内核进行了手工优化,使LoRA和QLoRA训练比Hugging Face标准实现更快,同时降低GPU内存占用。
它支持Llama、Qwen、Gemma、DeepSeek等主要开放模型,由于可在单张消费级GPU或Google Colab免费环境中完成训练,在个人开发者和研究者中广受使用。Unsloth还在Hugging Face上发布以GGUF等格式转换的开放模型量化版本,并以对不同层采用不同精度的Dynamic量化(UD)方法而知名。