AGI Hunt· _vztu·· 4 小时前AI 评分42
机器遗忘研究发现:基于 LLaVA-1.5 等模型的视觉概念远比密码难遗忘
研究发现视觉概念远比密码难遗忘
AI 导读
基于 LLaVA-1.5 等模型的机器遗忘研究发现,视觉概念远比密码难遗忘,相同数据与训练下图文输入的泛化鸿沟远大于纯文本。多数遗忘基准通过微调注入假身份,这类知识一个 epoch 内就大幅崩塌,预训练真实知识(人脸、地标)消退慢得多。密码是精确字符串,东京塔等视觉概念有无穷多角度、光照与风格,令多模态遗忘更棘手。
来源:AGI Hunt · agihunt.info