破滅的忘却catastrophic forgetting

破滅的忘却（catastrophic forgetting）は、人工ニューラルネットワークが新しいデータやタスクを順に学習するとき、以前のタスクのために調整された重みが上書きされ、それまでに学んだ内容での性能が大きく低下する現象である。破滅的干渉（catastrophic interference）とも呼ばれ、人間の緩やかな忘却とは異なり、短い追加学習でも性能が大きく崩れることがある。

複数のタスクを順に学習させる継続学習の中心的な課題であり、大規模言語モデルを特定のタスク向けにファインチューニングした際に汎用的な能力が落ちる問題としても現れる。過去のデータの一部を再び学習させるリプレイ、重要な重みの変化を抑える正則化手法、基盤モデルの重みを固定して小さな追加モジュールだけを学習させる方法などが緩和策として用いられる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。