holdout

홀드아웃

모델이 학습이나 조정 과정에서 보지 못하게 따로 떼어 둔 뒤 최종 평가에만 쓰는 데이터 세트다.

기사 1편최근 언급

holdout(홀드아웃)은 머신러닝에서 전체 데이터 가운데 일부를 학습과 조정에 쓰지 않고 따로 보관해 두는 평가 방법이자, 그렇게 떼어 둔 데이터 세트를 가리키는 말이다. 모델이 학습 데이터에만 맞춰지는 overfitting을 가려내기 위해, 학습이 끝난 뒤 본 적 없는 holdout 세트로 성능을 재어 새로운 데이터에 대한 일반화 능력을 추정한다.

데이터를 학습용, 검증용, 시험용으로 한 번 나누는 가장 단순한 분할 방식이며, 데이터를 여러 번 번갈아 나누는 cross-validation(교차 검증)과 대비된다. AI 시스템이나 agent를 평가할 때도 같은 benchmark에 반복해서 맞추는 것을 막기 위해 공개하지 않는 holdout 과제 세트를 두는 방식이 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 자기 개선 AI agent 설계: 두 loop와 reward hacking 방어AI 활용 ·

    아이디어를 내는 개발용 과제, 후보를 거르는 선택용 benchmark, 최종 배포 검증용 holdout(agent가 본 적 없는 별도 평가 세트)입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.