vLLM

UC Berkeley 연구진이 2023년 공개한 LLM 추론·serving용 오픈소스 라이브러리로, PagedAttention으로 처리량을 높였다.

기사 3편최근 언급

vLLM은 LLM 추론과 serving을 위한 오픈소스 라이브러리다. UC Berkeley 연구진이 2023년에 공개했으며, attention 연산의 KV cache를 운영체제의 가상 memory 페이지처럼 나눠 관리하는 PagedAttention 기법으로 GPU memory 낭비를 줄여 처리량을 크게 높였다.

Hugging Face에 공개된 다양한 모델을 지원하고, OpenAI 호환 API 서버를 제공해 기존 애플리케이션에서 바로 쓸 수 있다. continuous batching, quantization, 여러 GPU에 걸친 분산 추론 등을 지원하며, 오픈소스 LLM을 직접 운영하는 환경에서 가장 널리 쓰이는 추론 엔진 가운데 하나다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • Claude Fable 5.2, 다섯 가지 실무 작업으로 본 체감 성능AI 성능 ·

    Fable 5.2에 유럽과 포르투갈 시장 가격, 메모리 요구량, vLLM·TensorRT-LLM·ExLlamaV2 같은 추론 엔진을 포함한 조사를 맡기자 다음과 같은 결론의 보고서가 나왔습니다.

    기사 읽기
  • 로컬 LLM 역할 분담, Coder가 자동화 작업부터 옮긴 이유AI 성능 ·

    엔지니어가 자기 장비에 Ollama나 vLLM을 설치합니다.

    기사 읽기
  • agent의 차이는 모델이 아니라 intelligence plane에서 난다AI 활용 ·

    vLLM이나 llama.cpp 기반 LLM 추론, embedding, reranking, 텍스트 분류 모델을 OpenAI 호환 REST endpoint 뒤에 묶어 온프레미스나 망 분리 환경에서 돌릴 수 있고, Oracle AI Database는 DBMSVECTORCHAIN이나 UTLTO…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.