跳到正文
原文
AGI Hunt· CatAstro_Piyush·· 4 小时前AI 评分42

Local Support Learning:7B 模型免旧数据也能边学新任务边防遗忘

Local Support Learning:7B 模型免旧数据也能边学新任务边防遗忘

AI 导读

arXiv 论文 Local Support Learning(LSL)提出通用后训练框架,在最高 7B 参数的 LLM 上不访问任何先前数据即可学习新任务并保留旧能力。它用照常训练的权重适配器配合高斯混合模型(GMM)门控,让更新只在该适配器训练分布的输入激活上开启。实验显示该方法内存与计算开销小、对超参数选择鲁棒并具 scaling 潜力,论文与代码均已公开。

来源:AGI Hunt · agihunt.info