vLLMは、大規模言語モデルの推論とサービングのためのオープンソースライブラリである。UCバークレーの研究者が2023年に公開し、アテンション計算のKVキャッシュをOSの仮想メモリページのようにブロック単位で管理するPagedAttention技術によってGPUメモリの無駄を減らし、スループットを大幅に高めた。
Hugging Faceで公開されている多様なモデルに対応し、OpenAI互換のAPIサーバーを提供するため既存のアプリケーションからそのまま利用できる。連続バッチ処理、量子化、複数GPUにまたがる分散推論などをサポートし、オープンソースLLMを自前で運用する環境で最も広く使われる推論エンジンの一つである。