AGI Hunt· Yi Ren·· 4 小时前AI 评分43
统一框架:数据归因、灾难性遗忘与可塑性丧失同源于 token 交互
统一框架:数据归因、灾难性遗忘与可塑性丧失同源于 token 交互
AI 导读
一篇论文提出统一框架,将数据归因、灾难性遗忘与可塑性丧失归因于同一套 token 间“更新-行为交互”:正交互即有用经验,负交互则产生集中碰撞或累积侵蚀。其核心分解可逐 token、逐层分离 softmax 力、共享读出几何与残差连接,并给出前向可计算的近似。长期更新会重塑共享读出几何、削弱未来学习信号的传递,该结论在多个模型与训练 regime 下成立。
来源:AGI Hunt · agihunt.info