TensorRT-LLM

TensorRT-LLMは、NVIDIAが2023年に公開したオープンソースライブラリで、NVIDIA GPU上の大規模言語モデル推論を最適化する。

記事1本最終言及

TensorRT-LLMは、NVIDIAが2023年に公開したオープンソースライブラリで、NVIDIA GPU上での大規模言語モデル(LLM)推論を高速化・効率化するために用いられる。NVIDIAのディープラーニング推論最適化エンジンTensorRTの上に構築されており、Python APIでモデルを定義すると、対象GPUに最適化された実行エンジンが生成される。

主な機能として、到着した要求を実行中のバッチに随時組み込むインフライトバッチング、attention計算で使うKVキャッシュの効率的な管理、FP8やINT4などの量子化、モデルを複数GPUに分割するテンソル並列がある。Llama系、GPT系、Mistralなど広く使われるオープンモデルに対応し、NVIDIA Triton Inference Serverと組み合わせて本番環境に展開されることが多い。データセンター向けGPUを使う企業環境では、vLLMと並ぶ代表的なLLM推論エンジンとされる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • Claude Fable 5.2を実作業で検証、首位の実力とコストの注意点AI性能 ·

    Fable 5.2には、ヨーロッパとポルトガルのハードウェア価格、必要なメモリ量、vLLM、TensorRT-LLM、ExLlamaV2などの推論エンジンを調べるよう依頼しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。