TensorRT-LLM은 NVIDIA가 2023년 공개한 오픈소스 라이브러리로, NVIDIA GPU에서 대규모 언어 모델(LLM)의 추론 속도와 효율을 높이는 데 쓰인다. NVIDIA의 딥러닝 추론 최적화 엔진인 TensorRT 위에 만들어졌으며, Python API로 모델을 정의하면 GPU에 맞게 최적화된 실행 엔진을 생성한다.
주요 기능으로는 요청이 들어오는 대로 배치에 끼워 넣는 in-flight batching, KV cache(attention 계산 결과를 저장하는 메모리)의 효율적 관리, FP8·INT4 등 양자화, 여러 GPU에 모델을 나누는 tensor parallelism이 있다. Llama, GPT 계열, Mistral 등 널리 쓰이는 오픈 모델을 지원하며, NVIDIA Triton Inference Server와 결합해 서비스 환경에 배포하는 경우가 많다. 데이터센터급 GPU를 쓰는 기업 환경에서 vLLM 등과 함께 대표적인 LLM 추론 엔진으로 꼽힌다.