Dust 论文：零阶优化首次预训练 Transformer，效率超 SOTA 千倍

Dust 论文首次用零阶优化预训练 Transformer，部分任务上逼近甚至超越反向传播，计算效率比当前 SOTA 的进化策略方法 EGGROLL 高约 1000-10000 倍。作者称选择预训练 Transformer 是因为它是零阶优化最难的任务，并指出过参数化下零阶方法通常更好：固定种群规模时模型越大表现越佳。有研究者指出论文仍有大量实现细节未获解释，正撰写博客逆向其数学与方法选择。