跳到正文
原文
arXiv cs.AI· Sara Abdali, Pashmina Cameron·· 4 小时前AI 评分32

JIVEAdapter:基于 JIVE 的多任务加性低秩适配器

JIVEAdapter: A Multi-Task Additive Low-Rank Adapter via Joint and Individual Variation Explained (JIVE)

AI 导读

JIVEAdapter 是一种多任务加性低秩适配器,把每次权重更新拆成跨任务共享的 Joint 结构与任务专属的 Individual 结构。Individual 被约束为与 Joint 近正交,秩在共享池与任务池间自适应分配,Joint 学一次后冻结,可作新任务先验复用而无需重训共享部分。

来源:arXiv cs.AI · arxiv.org