#pre-training

'pre-training' 태그가 붙은 기사 1편

태그 기사

'pre-training' 태그가 붙은 기사를 최신순으로 보여 줍니다.

원시 텍스트를 흡수하는 기계, 비서 복장을 갖춘 기계, 퍼즐을 푸는 기계로 이어지는 조립 라인
AI 성능

LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계

LLM 품질은 pre-training, SFT, RL 세 단계가 각각 다른 성질을 결정. pre-training만 거친 base 모델은 인터넷 자동완성기, 멈출 줄도 모름. SFT가 비서 persona와 종료 token을 심고, RL이 스스로 사고 패턴을 학습. GRPO는 수십 개 풀이를 그룹 평균과 비교해 틀린 시도에서도 배우는 방식. Google Colab 무료 GPU로 Qwen2-0.5B base와 Instruct 비교 실험 가능.

새 기사를 RSS와 팟캐스트로 받아보세요

RSS 리더에는 RSS 주소를, 팟캐스트 앱에는 팟캐스트 주소를 등록하면 새 기사가 올라올 때마다 받아볼 수 있습니다. 팟캐스트는 제목과 핵심 요약을 음성으로 들려줍니다.

구독 방법 보기