热点事件持续更新
SOMA 架构为零阶优化封顶梯度方差
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月1日，François Chaubard 团队发布 SOMA 架构，在控制算力与参数量的条件下，于预训练任务上取得零阶（ZO）优化方法的 SOTA。该架构的设计是把模型切分为大量微小专家，每个专家在各自独立的（解耦）GPU 上训练，训练过程中不通信梯度、激活或优化器状态，从而从架构层面随着模型扩大而封顶梯度方差。方案灵感来自丘脑与皮层柱结构，每个专家负责训练数据的一个子集。
AI 根据报道生成 · 3 小时前更新
最新进展10月1日 01:15
François Chaubard 团队发布 SOMA 架构，零阶优化预训练达 SOTA，从架构层面封顶梯度方差。报道时间线
沿着报道，了解事件的不同侧面。
10月1日
- AGI HuntSOMA 架构为零阶优化封顶梯度方差，预训练达 ZO 方法 SOTA
François Chaubard 团队发布 SOMA 架构，在控制算力与参数量条件下于预训练任务上取得零阶（ZO）优化方法 SOTA。该架构把模型切分为大量微小专家，各自在独立（解耦）GPU 上训练，期间不通信梯度、激活或优化器状态，从架构层面随模型扩大封顶梯度方差。方案灵感来自丘脑与皮层柱结构，每个专家负责训练数据的一个子集。
本事件热度走势
当前热度 9·可比范围峰值 10（10月1日 02:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。