SOMA 架构为零阶优化封顶梯度方差，预训练达 ZO 方法 SOTA

François Chaubard 团队发布 SOMA 架构，在控制算力与参数量条件下于预训练任务上取得零阶（ZO）优化方法 SOTA。该架构把模型切分为大量微小专家，各自在独立（解耦）GPU 上训练，期间不通信梯度、激活或优化器状态，从架构层面随模型扩大封顶梯度方差。方案灵感来自丘脑与皮层柱结构，每个专家负责训练数据的一个子集。