SGLangは、大規模言語モデルや視覚言語モデルを高速にサービングするためのオープンソースのフレームワークである。2024年にUC Berkeleyを中心とするLMSYSの研究者らが公開し、Apache 2.0ライセンスで配布されている。
複数のリクエストが共有するプロンプト先頭部分のKVキャッシュを基数木で管理して自動的に再利用するRadixAttention、正規表現やJSONスキーマに沿った構造化出力を高速に生成する仕組み、モデル呼び出しと制御フローをPythonで記述するフロントエンド言語を特徴とする。vLLMと並んで広く使われるLLM推論エンジンであり、プリフィルとデコードを分離するサービング構成や、大規模MoEモデルのエキスパート並列にも対応する。