SGLang은 대규모 언어 모델과 vision-language 모델을 빠르게 서빙하기 위한 오픈소스 framework다. 2024년 UC Berkeley를 중심으로 한 LMSYS 연구진이 공개했으며, Apache 2.0 라이선스로 배포된다.
여러 요청이 공유하는 prompt 앞부분의 KV cache를 radix tree로 관리해 자동으로 재사용하는 RadixAttention, 정규식이나 JSON schema에 맞춘 structured output을 빠르게 생성하는 기법, 모델 호출과 제어 흐름을 Python으로 기술하는 frontend 언어를 특징으로 한다. vLLM과 함께 널리 쓰이는 LLM 추론 엔진으로, prefill과 decode를 분리하는 서빙 구성과 대규모 MoE 모델의 expert parallelism도 지원한다.