ExLlamaV2

ExLlamaV2は、量子化した大規模言語モデルを一般向けNVIDIA GPUで高速に実行するためのオープンソース推論ライブラリである。

記事1本最終言及

ExLlamaV2は、量子化した大規模言語モデル(LLM)を一般向けNVIDIA GPUで効率よく実行するためのオープンソース推論ライブラリである。GitHubでturboderpの名で活動する開発者が2023年に公開したもので、先行プロジェクトExLlamaの後継にあたる。Python、C++、CUDAで書かれており、Llama系をはじめとする各種オープンモデルに対応する。

このライブラリは独自の量子化形式EXL2を導入した。EXL2はモデルの層や重みごとに異なるビット幅を混在させることができ、平均ビット数を細かく調整しながら限られたGPUメモリに大きなモデルを載せられる。ローカル環境でLLMを動かす個人ユーザーや小規模なサーバー運用者の間で、vLLMやllama.cppと並んでよく使われる推論エンジンの一つである。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • Claude Fable 5.2を実作業で検証、首位の実力とコストの注意点AI性能 ·

    Fable 5.2には、ヨーロッパとポルトガルのハードウェア価格、必要なメモリ量、vLLM、TensorRT-LLM、ExLlamaV2などの推論エンジンを調べるよう依頼しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。