TensorRT-LLM

TensorRT-LLM是NVIDIA于2023年发布的开源库,用于优化大语言模型在NVIDIA GPU上的推理。

1篇文章最近提及

TensorRT-LLM是NVIDIA于2023年发布的开源库,用于加速大语言模型(LLM)在NVIDIA GPU上的推理。它构建在NVIDIA的深度学习推理优化引擎TensorRT之上,开发者通过Python API定义模型后,即可编译出针对目标GPU优化的执行引擎。

其主要功能包括将新到请求随时并入运行中批次的in-flight batching、对attention计算所用KV缓存的高效管理、FP8和INT4等量化格式,以及将模型拆分到多块GPU的张量并行。它支持Llama系列、GPT类模型和Mistral等广泛使用的开放模型,常与NVIDIA Triton Inference Server搭配部署到生产环境。在使用数据中心级GPU的企业环境中,它与vLLM并列为主要的LLM推理引擎之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Claude Fable 5.2实测:登顶榜单后的五项实战检验AI性能 ·

    Fable 5.2被要求调研欧洲和葡萄牙的硬件价格、内存需求,以及vLLM、TensorRT-LLM和ExLlamaV2等推理引擎。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。