ExLlamaV2は、量子化した大規模言語モデル(LLM)を一般向けNVIDIA GPUで効率よく実行するためのオープンソース推論ライブラリである。GitHubでturboderpの名で活動する開発者が2023年に公開したもので、先行プロジェクトExLlamaの後継にあたる。Python、C++、CUDAで書かれており、Llama系をはじめとする各種オープンモデルに対応する。
このライブラリは独自の量子化形式EXL2を導入した。EXL2はモデルの層や重みごとに異なるビット幅を混在させることができ、平均ビット数を細かく調整しながら限られたGPUメモリに大きなモデルを載せられる。ローカル環境でLLMを動かす個人ユーザーや小規模なサーバー運用者の間で、vLLMやllama.cppと並んでよく使われる推論エンジンの一つである。