ExLlamaV2

ExLlamaV2是一个开源推理库,用于在消费级NVIDIA GPU上高效运行量化后的大语言模型。

1篇文章最近提及

ExLlamaV2是一个开源推理库,旨在让量化后的大语言模型(LLM)在消费级NVIDIA GPU上高效运行。它由GitHub上名为turboderp的开发者于2023年发布,是早期项目ExLlama的后续版本。该库以Python、C++和CUDA编写,支持包括Llama系列在内的多种开放权重模型。

ExLlamaV2引入了自有的量化格式EXL2。EXL2允许模型中不同的层和权重使用不同的位宽,从而可以精细调节平均位数,把大模型装进有限的GPU显存。在本地运行LLM的个人用户和小规模服务器运营者中,它与vLLM、llama.cpp等并列为常用的推理引擎之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Claude Fable 5.2实测:登顶榜单后的五项实战检验AI性能 ·

    Fable 5.2被要求调研欧洲和葡萄牙的硬件价格、内存需求,以及vLLM、TensorRT-LLM和ExLlamaV2等推理引擎。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。