TensorRT-LLMは、NVIDIAが2023年に公開したオープンソースライブラリで、NVIDIA GPU上での大規模言語モデル(LLM)推論を高速化・効率化するために用いられる。NVIDIAのディープラーニング推論最適化エンジンTensorRTの上に構築されており、Python APIでモデルを定義すると、対象GPUに最適化された実行エンジンが生成される。
主な機能として、到着した要求を実行中のバッチに随時組み込むインフライトバッチング、attention計算で使うKVキャッシュの効率的な管理、FP8やINT4などの量子化、モデルを複数GPUに分割するテンソル並列がある。Llama系、GPT系、Mistralなど広く使われるオープンモデルに対応し、NVIDIA Triton Inference Serverと組み合わせて本番環境に展開されることが多い。データセンター向けGPUを使う企業環境では、vLLMと並ぶ代表的なLLM推論エンジンとされる。