Hugging Face Transformers

Hugging Face가 만든 오픈소스 Python 라이브러리로, 사전 학습된 모델과 tokenizer를 통일된 API로 내려받아 쓸 수 있게 한다.

기사 1편최근 언급

Hugging Face Transformers는 Hugging Face가 개발하고 유지하는 오픈소스 Python 라이브러리다. 2018년 BERT를 PyTorch로 옮긴 pytorch-pretrained-bert로 시작해 2019년 Transformers로 이름을 바꿨으며, Hugging Face Hub에 올라온 수많은 사전 학습 모델을 몇 줄의 코드로 내려받아 추론과 fine-tuning에 쓸 수 있게 한다.

AutoModel과 AutoTokenizer 같은 Auto 클래스는 모델 이름만으로 알맞은 구조와 tokenizer를 자동으로 불러오고, pipeline API는 텍스트 생성이나 분류 같은 작업을 한 줄로 실행한다. tokenizer의 chat template 기능은 대화 메시지를 모델이 요구하는 특수 token 형식으로 변환한다. PyTorch를 중심으로 동작하며 자연어 처리뿐 아니라 비전, 음성 모델도 지원한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    Alibaba Cloud의 Qwen2-0.5B(parameter 5억 개)의 base 버전을 Hugging Face Transformers의 pipeline으로 불러 아무 prompt(입력 지시문)도 주지 않고 100 token을 생성시키면 Python 단위 테스트 코드가 나오고 이어서…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.