跳到正文
热点事件持续更新

industriaalist 发布无反向传播预训练工具Noise

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

industriaalist 团队上周介绍了 Dust,称其为首个以 SGD 方式逼近反向传播(backprop)的预训练 Transformer 方法,并认为在此基础上仍有约 1000 倍的改进空间。2026 年 10 月 13 日,该团队又发布 Noise,一个「无反向传播预训练」的加速迭代工具,主张用零阶优化取代 backprop。报道称,Noise 面向信用分配、优化器、架构乃至硬件的协同设计,用于快速迭代这一方向,预训练有望再提速千倍。目前尚无更多关于 Noise 具体性能或落地情况的细节。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt
    industriaalist 团队发布 Noise:押注零阶优化取代反向传播,预训练有望再提速千倍

    industriaalist 团队发布 Noise,一个「无反向传播预训练」的加速迭代工具,主张用零阶优化取代 backprop。该团队上周已介绍首个以 SGD 方式逼近 backprop 的预训练 Transformer 方法 Dust,并认为在此基础上仍有约 1000 倍改进空间。Noise 面向信用分配、优化器、架构乃至硬件的协同设计,用于快速迭代这一方向。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。