TensorRT-LLM

TensorRT-LLM은 NVIDIA가 2023년 공개한 오픈소스 라이브러리로, NVIDIA GPU에서 대규모 언어 모델의 추론을 최적화한다.

기사 1편최근 언급

TensorRT-LLM은 NVIDIA가 2023년 공개한 오픈소스 라이브러리로, NVIDIA GPU에서 대규모 언어 모델(LLM)의 추론 속도와 효율을 높이는 데 쓰인다. NVIDIA의 딥러닝 추론 최적화 엔진인 TensorRT 위에 만들어졌으며, Python API로 모델을 정의하면 GPU에 맞게 최적화된 실행 엔진을 생성한다.

주요 기능으로는 요청이 들어오는 대로 배치에 끼워 넣는 in-flight batching, KV cache(attention 계산 결과를 저장하는 메모리)의 효율적 관리, FP8·INT4 등 양자화, 여러 GPU에 모델을 나누는 tensor parallelism이 있다. Llama, GPT 계열, Mistral 등 널리 쓰이는 오픈 모델을 지원하며, NVIDIA Triton Inference Server와 결합해 서비스 환경에 배포하는 경우가 많다. 데이터센터급 GPU를 쓰는 기업 환경에서 vLLM 등과 함께 대표적인 LLM 추론 엔진으로 꼽힌다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • Claude Fable 5.2, 다섯 가지 실무 작업으로 본 체감 성능AI 성능 ·

    Fable 5.2에 유럽과 포르투갈 시장 가격, 메모리 요구량, vLLM·TensorRT-LLM·ExLlamaV2 같은 추론 엔진을 포함한 조사를 맡기자 다음과 같은 결론의 보고서가 나왔습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.