SGLang

SGLangは、2024年にLMSYSの研究者らが公開したオープンソースの大規模言語モデル用サービングフレームワークで、RadixAttentionによるプレフィックスキャッシュを特徴とする。

記事2本最終言及

SGLangは、大規模言語モデルや視覚言語モデルを高速にサービングするためのオープンソースのフレームワークである。2024年にUC Berkeleyを中心とするLMSYSの研究者らが公開し、Apache 2.0ライセンスで配布されている。

複数のリクエストが共有するプロンプト先頭部分のKVキャッシュを基数木で管理して自動的に再利用するRadixAttention、正規表現やJSONスキーマに沿った構造化出力を高速に生成する仕組み、モデル呼び出しと制御フローをPythonで記述するフロントエンド言語を特徴とする。vLLMと並んで広く使われるLLM推論エンジンであり、プリフィルとデコードを分離するサービング構成や、大規模MoEモデルのエキスパート並列にも対応する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    SGLangはスキーマを有限状態機械にコンパイルし、引用符や波括弧のような固定の構文をモデルの順伝播なしに挿入して、複数のトークンが有効な遷移でのみモデルを呼び出します。

    記事を読む
  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    10月26日、Cloudflareは分離サービングにおけるSGLangのバグについて事後検証を公開しました。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。