灾难性遗忘catastrophic forgetting

灾难性遗忘（catastrophic forgetting）又称灾难性干扰，是指人工神经网络在按顺序学习新数据或新任务时，为先前任务调整好的权重被覆盖，导致其在已学内容上的表现急剧下降。与人类渐进式的遗忘不同，即使只经过短暂的额外训练，模型原有的性能也可能大幅崩塌。

它是持续学习研究的核心难题，即让模型随时间依次学习一系列任务；在针对特定任务微调大语言模型时，也会表现为通用能力下降。常见的缓解方法包括重放部分旧数据、限制重要权重变化的正则化方法，以及冻结基础模型权重、只训练少量新增模块等。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。