SGLang

SGLang是LMSYS研究人员于2024年发布的开源大语言模型推理服务框架,以基于RadixAttention的前缀缓存为特点。

2篇文章最近提及

SGLang是用于高速推理服务大语言模型和视觉语言模型的开源框架。它于2024年由以加州大学伯克利分校为核心的LMSYS研究人员发布,以Apache 2.0许可证分发。

其主要特点包括:以基数树管理多个请求共享的提示前缀KV缓存并自动复用的RadixAttention;按正则表达式或JSON schema快速生成结构化输出的技术;以及用Python描述模型调用和控制流的前端语言。它与vLLM并列为使用最广泛的LLM推理引擎之一,还支持预填充与解码分离的服务架构以及大规模MoE模型的专家并行。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    SGLang 把 schema 编译为有限状态机,在不经过模型前向传播的情况下直接插入引号、花括号等固定语法,只在存在多个合法 token 的转移处才调用模型;在 Llama-7B 上,这带来了相对 vLLM、Guidance 和 LMQL 的显著吞吐量提升。

    阅读文章
  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    10月26日,Cloudflare发布了一份事故复盘,描述了SGLang在分离式服务中的一个bug:在长度超过681,280个token的提示词上,泄露了155条包含其他客户数据的响应。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。