industriaalist 团队发布 Noise：押注零阶优化取代反向传播，预训练有望再提速千倍

industriaalist 团队发布 Noise，一个「无反向传播预训练」的加速迭代工具，主张用零阶优化取代 backprop。该团队上周已介绍首个以 SGD 方式逼近 backprop 的预训练 Transformer 方法 Dust，并认为在此基础上仍有约 1000 倍改进空间。Noise 面向信用分配、优化器、架构乃至硬件的协同设计，用于快速迭代这一方向。