rejection sampling

기각 샘플링

모델이 생성한 여러 후보 가운데 기준을 통과한 것만 남기고 나머지를 버리는 방법으로, LLM 학습에서는 정답 풀이만 골라 학습 데이터로 쓴다.

기사 1편최근 언급

rejection sampling(기각 샘플링)은 원래 통계학에서 다루기 쉬운 분포로 표본을 뽑은 뒤 조건에 맞지 않는 표본을 버려 목표 분포의 표본을 얻는 기법이다. 대형 언어 모델 분야에서는 이 개념을 빌려, 한 문제에 대해 모델이 여러 개의 답이나 풀이를 생성하게 하고 정답 검증기나 보상 모델의 기준을 통과한 것만 남기는 방법을 가리킨다.

post-training에서는 이렇게 걸러 낸 정답 풀이를 supervised fine-tuning 데이터로 다시 학습시키는 rejection sampling fine-tuning이 reasoning 능력을 키우는 단순한 방법으로 쓰인다. 다만 틀린 시도에 담긴 정보를 모두 버리고 정답 풀이 안의 불필요한 token까지 똑같이 강화한다는 한계가 있어, 그룹 내 상대 비교로 학습하는 GRPO 같은 reinforcement learning 기법이 보완책으로 쓰인다. 추론 시점에 여러 후보를 생성해 가장 좋은 것을 고르는 best-of-n 샘플링도 같은 원리다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    가장 단순한 방법은 rejection sampling(기각 샘플링)입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.