ExLlamaV2是一个开源推理库,旨在让量化后的大语言模型(LLM)在消费级NVIDIA GPU上高效运行。它由GitHub上名为turboderp的开发者于2023年发布,是早期项目ExLlama的后续版本。该库以Python、C++和CUDA编写,支持包括Llama系列在内的多种开放权重模型。
ExLlamaV2引入了自有的量化格式EXL2。EXL2允许模型中不同的层和权重使用不同的位宽,从而可以精细调节平均位数,把大模型装进有限的GPU显存。在本地运行LLM的个人用户和小规模服务器运营者中,它与vLLM、llama.cpp等并列为常用的推理引擎之一。