跳到正文
原文
AGI Hunt· Can Jin·· 3 小时前AI 评分43

ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移

ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移

AI 导读

ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,每步成本约等于训练最宽子网络。其 μE 把 μP 扩展到弹性架构,小代理模型调好的超参可迁移到更大超网;单次训练的子网在同等参数量下超过 MatFormer 与全弹性基线。

来源:AGI Hunt · agihunt.info