跳到正文
原文
AGI Hunt· _reachsumit·· 2 小时前AI 评分34

LoopGR 用循环深度做参数高效扩展,模型小 52% 性能反超

LoopGR 用循环深度做参数高效扩展,模型小 52% 性能反超

AI 导读

LoopGR 提出生成式推荐的参数高效扩展框架,用分层循环深度交替共享生成解码器与轻量上下文更新器,增加计算深度而不增加参数量。相对代表性 encoder-decoder 基线,它性能更优且模型体积最多减少 52%。循环轨迹自蒸馏将高预算 teacher 对齐到低预算 student,确立循环深度为新的 scaling 维度。

来源:AGI Hunt · agihunt.info