SGLang

에스지랭

2024년 LMSYS 연구진이 공개한 오픈소스 대규모 언어 모델 서빙 framework로, RadixAttention 기반 prefix caching이 특징이다.

기사 2편최근 언급

SGLang은 대규모 언어 모델과 vision-language 모델을 빠르게 서빙하기 위한 오픈소스 framework다. 2024년 UC Berkeley를 중심으로 한 LMSYS 연구진이 공개했으며, Apache 2.0 라이선스로 배포된다.

여러 요청이 공유하는 prompt 앞부분의 KV cache를 radix tree로 관리해 자동으로 재사용하는 RadixAttention, 정규식이나 JSON schema에 맞춘 structured output을 빠르게 생성하는 기법, 모델 호출과 제어 흐름을 Python으로 기술하는 frontend 언어를 특징으로 한다. vLLM과 함께 널리 쓰이는 LLM 추론 엔진으로, prefill과 decode를 분리하는 서빙 구성과 대규모 MoE 모델의 expert parallelism도 지원한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    SGLang 같은 엔진은 형식을 finite state machine으로 만들어 괄호, 따옴표, 고정 필드 이름처럼 이미 정해진 token은 모델을 호출하지 않고 바로 삽입하고, 여러 token이 유효한 지점에서만 모델을 부릅니다.

    기사 읽기
  • DeepSeek, 서빙 엔진 DeepInfer 공개와 $2.10 코딩 비용AI 뉴스 ·

    Cloudflare가 10월 26일 공개한 사후 분석에 따르면 SGLang의 분리 서빙 bug 때문에 681,280 token이 넘는 긴 prompt에서 다른 고객의 데이터가 섞인 응답 155건이 유출됐습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.