vLLM은 LLM 추론과 serving을 위한 오픈소스 라이브러리다. UC Berkeley 연구진이 2023년에 공개했으며, attention 연산의 KV cache를 운영체제의 가상 memory 페이지처럼 나눠 관리하는 PagedAttention 기법으로 GPU memory 낭비를 줄여 처리량을 크게 높였다.
Hugging Face에 공개된 다양한 모델을 지원하고, OpenAI 호환 API 서버를 제공해 기존 애플리케이션에서 바로 쓸 수 있다. continuous batching, quantization, 여러 GPU에 걸친 분산 추론 등을 지원하며, 오픈소스 LLM을 직접 운영하는 환경에서 가장 널리 쓰이는 추론 엔진 가운데 하나다.