Unsloth

언슬로스

LLM fine-tuning을 빠르고 가볍게 하는 오픈소스 라이브러리를 만들고 양자화 모델을 배포하는 미국 AI 스타트업이다.

기사 2편최근 언급

Unsloth(언슬로스)는 대규모 언어 모델의 fine-tuning을 더 빠르고 적은 메모리로 할 수 있게 하는 같은 이름의 오픈소스 라이브러리를 개발하는 미국 AI 스타트업이다. 2023년 형제인 Daniel Han과 Michael Han이 설립했으며 샌프란시스코에 있다. 라이브러리는 attention과 역전파 커널을 직접 최적화해 LoRA·QLoRA 방식 학습을 Hugging Face 표준 구현보다 빠르게 하면서 GPU 메모리 사용량을 줄인다.

Llama, Qwen, Gemma, DeepSeek 등 주요 공개 모델을 지원하며, 소비자용 GPU 한 장이나 Google Colab 무료 환경에서도 학습할 수 있는 점 때문에 개인 개발자와 연구자 사이에서 널리 쓰인다. 또한 공개 모델을 GGUF 등으로 변환한 양자화 버전을 Hugging Face에 배포하며, 층마다 정밀도를 달리 적용하는 Dynamic 양자화(UD) 방식으로 알려져 있다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 16GB VRAM에서 128k context, 3비트 Qwen 27B 실측 결과AI 성능 ·

    같은 Qwen 계열 기본 모델을 Unsloth가 Q3KXL로 양자화한 버전과 앞서 시험한 결과를 놓고 비교하면 흥미로운 차이가 보입니다.

    기사 읽기
  • 로컬 Qwen에 harness 4종 적용, 버그 수정 22~27개로 차이 작아AI 성능 ·

    …pt와 파일 편집·shell 실행 같은 도구, 그리고 실행 loop를 붙여 자율적으로 일하는 agent로 만드는 실행 틀)는 네 가지를 썼고, 모델은 Unsloth가 배포한 Qwen 3.8 27B UD Q4KXL GGUF 하나를 llama.cpp의 llama-server로 구동했습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.