灾难性遗忘
也叫：Catastrophic Forgetting · 灾难性忘却
灾难性遗忘是模型继续训练新任务时原有能力退化的现象，需要在可比较条件下检查训练前后的旧任务表现。
他们说
持续学习新任务时，先前任务能力明显退化
老白翻译
模型学会了新任务，原来会做的一些事却退步了，需要把新旧任务一起测。
它到底是什么
灾难性遗忘发生在持续学习过程中，模型学新任务时丧失部分原有能力。一次答错不能直接证明遗忘，应对比训练前后多项旧任务的稳定表现。
研究提供了什么办法
早期EWC研究尝试减慢重要权重的变化。后来的大语言模型研究观察到，通用指令训练可能缓解后续微调遗忘。这些办法都有模型和实验范围，需要在自己的任务里验证。
常见误解
新任务得分提高不代表所有旧能力都保住了。给智能体增加外部记忆，也不等于修复模型训练造成的能力变化，两者处理的对象不同。
普通人怎么用
微调前记录旧任务成绩，微调后同时测试新旧任务，按任务分别报告。保留旧模型和配置，方便在重要能力退步时恢复可用版本。