TensorRT-LLM是NVIDIA于2023年发布的开源库,用于加速大语言模型(LLM)在NVIDIA GPU上的推理。它构建在NVIDIA的深度学习推理优化引擎TensorRT之上,开发者通过Python API定义模型后,即可编译出针对目标GPU优化的执行引擎。
其主要功能包括将新到请求随时并入运行中批次的in-flight batching、对attention计算所用KV缓存的高效管理、FP8和INT4等量化格式,以及将模型拆分到多块GPU的张量并行。它支持Llama系列、GPT类模型和Mistral等广泛使用的开放模型,常与NVIDIA Triton Inference Server搭配部署到生产环境。在使用数据中心级GPU的企业环境中,它与vLLM并列为主要的LLM推理引擎之一。