vLLM

UCバークレーの研究者が2023年に公開したLLM推論・サービング用オープンソースライブラリで、PagedAttentionによりスループットを高めた。

記事4本最終言及

vLLMは、大規模言語モデルの推論とサービングのためのオープンソースライブラリである。UCバークレーの研究者が2023年に公開し、アテンション計算のKVキャッシュをOSの仮想メモリページのようにブロック単位で管理するPagedAttention技術によってGPUメモリの無駄を減らし、スループットを大幅に高めた。

Hugging Faceで公開されている多様なモデルに対応し、OpenAI互換のAPIサーバーを提供するため既存のアプリケーションからそのまま利用できる。連続バッチ処理、量子化、複数GPUにまたがる分散推論などをサポートし、オープンソースLLMを自前で運用する環境で最も広く使われる推論エンジンの一つである。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    これによりLlama-7Bで、vLLM、Guidance、LMQLに対して大幅なスループット向上を得ています。

    記事を読む
  • Claude Fable 5.2を実作業で検証、首位の実力とコストの注意点AI性能 ·

    Fable 5.2には、ヨーロッパとポルトガルのハードウェア価格、必要なメモリ量、vLLM、TensorRT-LLM、ExLlamaV2などの推論エンジンを調べるよう依頼しました。

    記事を読む
  • Coder、ボット処理をオンプレ移行しAI費用を月$1,750から$11未満に削減AI性能 ·

    エンジニアがローカルマシンにOllamaやvLLMをインストールする。

    記事を読む
  • エージェントの差別化は「インテリジェンスプレーン」へ、Oracleが示す4つの実践AI活用 ·

    規制産業向けには、Private AI Services Containerがオンプレミスまたはエアギャップ環境で動作し、CPUまたはGPU上でvLLMかllama.cppによるLLM推論、埋め込み、リランキング、テキスト分類を、OpenAI互換のRESTエンドポイントの背後にまとめて提供します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。