SGLang是用于高速推理服务大语言模型和视觉语言模型的开源框架。它于2024年由以加州大学伯克利分校为核心的LMSYS研究人员发布,以Apache 2.0许可证分发。
其主要特点包括:以基数树管理多个请求共享的提示前缀KV缓存并自动复用的RadixAttention;按正则表达式或JSON schema快速生成结构化输出的技术;以及用Python描述模型调用和控制流的前端语言。它与vLLM并列为使用最广泛的LLM推理引擎之一,还支持预填充与解码分离的服务架构以及大规模MoE模型的专家并行。
SGLang是LMSYS研究人员于2024年发布的开源大语言模型推理服务框架,以基于RadixAttention的前缀缓存为特点。
SGLang是用于高速推理服务大语言模型和视觉语言模型的开源框架。它于2024年由以加州大学伯克利分校为核心的LMSYS研究人员发布,以Apache 2.0许可证分发。
其主要特点包括:以基数树管理多个请求共享的提示前缀KV缓存并自动复用的RadixAttention;按正则表达式或JSON schema快速生成结构化输出的技术;以及用Python描述模型调用和控制流的前端语言。它与vLLM并列为使用最广泛的LLM推理引擎之一,还支持预填充与解码分离的服务架构以及大规模MoE模型的专家并行。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
SGLang 把 schema 编译为有限状态机,在不经过模型前向传播的情况下直接插入引号、花括号等固定语法,只在存在多个合法 token 的转移处才调用模型;在 Llama-7B 上,这带来了相对 vLLM、Guidance 和 LMQL 的显著吞吐量提升。
阅读文章10月26日,Cloudflare发布了一份事故复盘,描述了SGLang在分离式服务中的一个bug:在长度超过681,280个token的提示词上,泄露了155条包含其他客户数据的响应。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。