热点事件持续更新
零阶优化预训练Transformer，效率超SOTA千倍
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月17日，AGI Hunt 报道了 Dust 团队的论文：该工作首次使用零阶优化来预训练 Transformer。报道称，在部分任务上，这一方法逼近甚至超越反向传播，计算效率比当前 SOTA 的进化策略方法 EGGROLL 高约 1000 到 10000 倍。作者称，选择预训练 Transformer 是因为它是零阶优化最难的任务；并指出在过参数化条件下零阶方法通常表现更好——固定种群规模时，模型越大表现越佳。同时，有研究者指出论文仍有大量实现细节未获解释，正在撰写博客逆向其数学与方法选择。
AI 根据报道生成 · 1 小时前更新
最新进展10月17日 06:15
Dust 论文首次用零阶优化预训练 Transformer，效率较 EGGROLL 高约千倍，实现细节仍受质疑。报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- AGI HuntDust 论文：零阶优化首次预训练 Transformer，效率超 SOTA 千倍
Dust 论文首次用零阶优化预训练 Transformer，部分任务上逼近甚至超越反向传播，计算效率比当前 SOTA 的进化策略方法 EGGROLL 高约 1000-10000 倍。作者称选择预训练 Transformer 是因为它是零阶优化最难的任务，并指出过参数化下零阶方法通常更好：固定种群规模时模型越大表现越佳。有研究者指出论文仍有大量实现细节未获解释，正撰写博客逆向其数学与方法选择。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。