ホールドアウト(holdout)は、機械学習においてデータの一部を学習や調整に使わず取り分けておく評価手法であり、そのように取り分けたデータセットも指す。学習後に未見のホールドアウトセットで性能を測ることで、新しいデータに対する汎化能力を推定し、学習データへの過学習を検出する。
データを学習用・検証用・テスト用に一度だけ分割する最も単純な方法であり、複数の分割を順に用いる交差検証(cross-validation)と対比される。AIシステムやエージェントの評価でも、同じベンチマークに繰り返し合わせ込むことを防ぐため、非公開のホールドアウト課題セットを用意する方法が使われる。