跳到正文
原文
AGI Hunt· _vztu·· 4 小时前AI 评分39

机器遗忘方法对比:超参一换结论反转,lr=1e-5 时 RMU 胜、lr=5e-5 时 KL Min 胜

超参一换结论反转:lr=1e-5 时 RMU 胜,lr=5e-5 时 KL Min 胜

AI 导读

用统一配置对比机器遗忘方法会得出相反结论:lr=1e-5 时 RMU 优于 KL Min(12.1 vs −1.0),lr=5e-5 时二者反转(17.9 vs 34.0)。许多未调参的配置落在 y=x 线上,清除保留知识的速度与清除目标知识一样快。作者还从理论上形式化:微调知识存在零成本修复(回滚原始权重),预训练知识在任何成功遗忘下都对保留知识有严格为正的代价。

来源:AGI Hunt · agihunt.info