GGUF

GGUF는 llama.cpp 개발진이 2023년에 이전 형식인 GGML을 대신해 내놓은 형식으로, 모델의 가중치와 tokenizer, 설정 정보를 파일 하나에 담는다. 여러 양자화 방식을 지원해 개인용 컴퓨터에서 로컬 LLM을 실행할 때 널리 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.