AGI Hunt· Can Jin·· 3 小时前AI 评分43
ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移
ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移
AI 导读
ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,每步成本约等于训练最宽子网络。其 μE 把 μP 扩展到弹性架构,小代理模型调好的超参可迁移到更大超网;单次训练的子网在同等参数量下超过 MatFormer 与全弹性基线。
来源:AGI Hunt · agihunt.info