AGI Hunt· Yuxuan Li·· 8 小时前AI 评分34
PaLoRA:按历史知识有效秩自适应调节学习率,持续学习 50 任务基准提升 4%
PaLoRA:按历史知识有效秩自适应调节学习率,持续学习 50 任务基准提升 4%
AI 导读
PaLoRA 针对 LoRA 持续学习中的灾难性遗忘提出理论化方案,推导出最优调步律 s = R/c,使幅度限制随历史知识有效秩 R 自适应增强。方法用自适应 SVD 截断压缩历史知识,把梯度投影到先前任务零空间,并施加秩感知的自适应 pacing。在 50 任务的 ImageNet-A 与 ImageNet-R 上,其表现一致优于先前方法,长程设置准确率提升达 4%。
来源:AGI Hunt · agihunt.info