ExLlamaV2

ExLlamaV2는 소비자용 NVIDIA GPU에서 양자화한 대규모 언어 모델을 빠르게 실행하기 위한 오픈소스 추론 라이브러리다.

기사 1편최근 언급

ExLlamaV2는 소비자용 NVIDIA GPU에서 양자화한 대규모 언어 모델(LLM)을 빠르게 실행하기 위한 오픈소스 추론 라이브러리다. GitHub에서 turboderp라는 이름으로 활동하는 개발자가 2023년 공개했으며, 앞서 나온 ExLlama의 후속 프로젝트다. Python, C++, CUDA로 작성되었고 Llama 계열을 비롯한 여러 오픈 모델을 지원한다.

이 라이브러리는 EXL2라는 자체 양자화 형식을 도입했다. EXL2는 모델의 층과 가중치마다 서로 다른 비트 수를 섞어 쓸 수 있어, 평균 비트 수를 세밀하게 조절하면서 제한된 GPU 메모리에 큰 모델을 올릴 수 있다. 로컬 환경에서 LLM을 돌리는 개인 사용자와 소규모 서버 운영자 사이에서 vLLM, llama.cpp 등과 함께 많이 쓰이는 추론 엔진 가운데 하나다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • Claude Fable 5.2, 다섯 가지 실무 작업으로 본 체감 성능AI 성능 ·

    Fable 5.2에 유럽과 포르투갈 시장 가격, 메모리 요구량, vLLM·TensorRT-LLM·ExLlamaV2 같은 추론 엔진을 포함한 조사를 맡기자 다음과 같은 결론의 보고서가 나왔습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.