catastrophic forgetting파국적 망각

catastrophic forgetting(파국적 망각)은 인공 신경망이 새로운 데이터나 작업을 차례로 학습할 때, 앞선 작업을 위해 조정된 가중치가 덮어쓰여 이미 익힌 내용에 대한 성능이 크게 떨어지는 현상이다. catastrophic interference라고도 부르며, 사람의 점진적인 망각과 달리 짧은 추가 학습만으로도 기존 성능이 크게 무너질 수 있다.

여러 작업을 순서대로 학습시키는 continual learning(지속 학습) 연구의 핵심 과제이고, 대규모 언어 모델을 특정 작업에 맞게 fine-tuning할 때 일반 능력이 떨어지는 문제로도 나타난다. 이전 데이터의 일부를 다시 학습시키는 replay, 중요한 가중치의 변화를 억제하는 정규화 기법, 기반 모델의 가중치를 고정하고 작은 추가 모듈만 학습시키는 방법 등이 완화책으로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.