holdout(홀드아웃)은 머신러닝에서 전체 데이터 가운데 일부를 학습과 조정에 쓰지 않고 따로 보관해 두는 평가 방법이자, 그렇게 떼어 둔 데이터 세트를 가리키는 말이다. 모델이 학습 데이터에만 맞춰지는 overfitting을 가려내기 위해, 학습이 끝난 뒤 본 적 없는 holdout 세트로 성능을 재어 새로운 데이터에 대한 일반화 능력을 추정한다.
데이터를 학습용, 검증용, 시험용으로 한 번 나누는 가장 단순한 분할 방식이며, 데이터를 여러 번 번갈아 나누는 cross-validation(교차 검증)과 대비된다. AI 시스템이나 agent를 평가할 때도 같은 benchmark에 반복해서 맞추는 것을 막기 위해 공개하지 않는 holdout 과제 세트를 두는 방식이 쓰인다.