热点事件持续更新
ShellElastic 提出弹性预训练方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月14日,AGI Hunt 报道 ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,因此每步训练成本约等于训练最宽子网络。其 μE 方法把 μP 扩展到弹性架构,使小代理模型上调好的超参可迁移到更大的超网。报道称,单次训练得到的子网在同等参数量下超过 MatFormer 与全弹性基线。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 10:17
ShellElastic 公布弹性预训练方案,一次全宽前向即可产出多尺寸子网,μE 支持超参从小模型迁移。报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- AGI HuntShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移
ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,每步成本约等于训练最宽子网络。其 μE 把 μP 扩展到弹性架构,小代理模型调好的超参可迁移到更大超网;单次训练的子网在同等参数量下超过 MatFormer 与全弹性基线。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。