跳到正文
热点事件持续更新

ShellElastic 提出弹性预训练方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月14日,AGI Hunt 报道 ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,因此每步训练成本约等于训练最宽子网络。其 μE 方法把 μP 扩展到弹性架构,使小代理模型上调好的超参可迁移到更大的超网。报道称,单次训练得到的子网在同等参数量下超过 MatFormer 与全弹性基线。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. AGI Hunt
    ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移

    ShellElastic 提出弹性预训练方案:把隐藏维度组织为 dense core 加多层 shells,一次全宽前向即包含所有子网络的隐状态前缀,每步成本约等于训练最宽子网络。其 μE 把 μP 扩展到弹性架构,小代理模型调好的超参可迁移到更大超网;单次训练的子网在同等参数量下超过 MatFormer 与全弹性基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。