vLLM

加州大学伯克利分校研究人员于2023年发布的大语言模型推理与服务开源库,以PagedAttention技术著称。

4篇文章最近提及

vLLM是用于大语言模型推理和服务的开源库。它由加州大学伯克利分校的研究人员于2023年发布,提出的PagedAttention技术将注意力计算的KV缓存像操作系统的虚拟内存分页一样分块管理,减少GPU显存浪费并大幅提高吞吐量。

它支持Hugging Face上发布的多种模型,并提供兼容OpenAI的API服务器,现有应用可直接接入。它还支持连续批处理、量化以及跨多GPU的分布式推理,是自行部署开源大语言模型时最常用的推理引擎之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    SGLang 把 schema 编译为有限状态机,在不经过模型前向传播的情况下直接插入引号、花括号等固定语法,只在存在多个合法 token 的转移处才调用模型;在 Llama-7B 上,这带来了相对 vLLM、Guidance 和 LMQL 的显著吞吐量提升。

    阅读文章
  • Claude Fable 5.2实测:登顶榜单后的五项实战检验AI性能 ·

    Fable 5.2被要求调研欧洲和葡萄牙的硬件价格、内存需求,以及vLLM、TensorRT-LLM和ExLlamaV2等推理引擎。

    阅读文章
  • Coder的本地AI实践:后台机器人月成本从$1,750降至$11AI性能 ·

    一名工程师在本地机器上安装 Ollama 或 vLLM。

    阅读文章
  • 智能平面:模型与数据同质化后,企业智能体的真正护城河AI应用 ·

    面向受监管行业,Private AI Services Container可在本地或物理隔离环境中运行,把通过vLLM或llama.cpp在CPU或GPU上进行的大语言模型推理、嵌入、重排和文本分类打包在兼容OpenAI的REST端点之后。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。