过拟合(overfitting)是指机器学习模型过度贴合训练数据,学到的不是数据中的一般规律,而是噪声和偶然特征的现象。其结果是模型在训练数据上表现良好,但在未见过的数据上性能下降。相反,模型过于简单以致连训练数据都无法很好拟合的现象称为欠拟合(underfitting)。
过拟合通常在数据量相对于模型复杂度过少或训练时间过长时出现。为防止过拟合,通常使用与训练集分离的验证数据来衡量性能,并采用正则化、dropout、早停、数据增强等技术。针对同一基准测试反复调整模型或系统,使其只适应该基准的现象也被称为过拟合。