arXiv cs.CL· Oscar Chew, Po-Yi Lu, Yi-Jie Cheng, Kunal Jain, Hsuan-Tien Lin, Zhengzhong Tu, Kuan-Hao Huang·· 4 小时前AI 评分40
我们真的在测量遗忘吗？多模态 LLM 机器遗忘评估的三大陷阱
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
AI 导读
多模态 LLM 机器遗忘评估存在三大陷阱：缺少留出集评估、依赖合成微调知识而非预训练获得的真实知识、对不同方法套用相同训练设置导致比较不公。研究者为此提出基于真实知识的 GEMMU 基准与评估协议，重新评测代表性遗忘方法后暴露出显著泛化差距，并挑战了以往基准得出的结论。
来源：arXiv cs.CL · arxiv.org