ExLlamaV2는 소비자용 NVIDIA GPU에서 양자화한 대규모 언어 모델(LLM)을 빠르게 실행하기 위한 오픈소스 추론 라이브러리다. GitHub에서 turboderp라는 이름으로 활동하는 개발자가 2023년 공개했으며, 앞서 나온 ExLlama의 후속 프로젝트다. Python, C++, CUDA로 작성되었고 Llama 계열을 비롯한 여러 오픈 모델을 지원한다.
이 라이브러리는 EXL2라는 자체 양자화 형식을 도입했다. EXL2는 모델의 층과 가중치마다 서로 다른 비트 수를 섞어 쓸 수 있어, 평균 비트 수를 세밀하게 조절하면서 제한된 GPU 메모리에 큰 모델을 올릴 수 있다. 로컬 환경에서 LLM을 돌리는 개인 사용자와 소규모 서버 운영자 사이에서 vLLM, llama.cpp 등과 함께 많이 쓰이는 추론 엔진 가운데 하나다.