llama.cpp라마 씨피피
llama.cpp는 대규모 언어 모델을 개인용 컴퓨터에서 실행하기 위한 C/C++ 기반 오픈소스 추론 엔진이다.
기사 1편
최근 언급 llama.cpp는 Georgi Gerganov가 2023년에 공개한 프로젝트로, CPU와 여러 종류의 GPU에서 모델을 실행할 수 있다. 양자화한 모델을 GGUF 파일 형식으로 불러와 적은 메모리로 돌릴 수 있으며, 로컬 LLM 실행 도구의 기반으로 널리 쓰인다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.