跳到正文
原文
AGI Hunt· Zefeng He·· 3 小时前AI 评分43

LatentLoop:循环 MoE 非对称分配算力,同效省 19% 计算

LatentLoop:循环 MoE 非对称分配算力,同效省 19% 计算

AI 导读

研究者提出 LatentLoop,为循环 MoE 做非对称算力分配:压缩第一次 loop 访问的序列、第二次保留全分辨率,把省下的计算加到 hidden size,两次访问共享 MoE 权重但用独立 attention 参数适配不同序列分辨率。

来源:AGI Hunt · agihunt.info