SoftServe 拟牛顿优化法发布，延续 BaM 思路

2026 年 10 月 2 日，AGI Hunt 报道称，Diana Cai、Julia Gower 等人发布预印本 SoftServe，提出一族面向现代深度学习的可扩展拟牛顿优化方法。该方法可在 GPU 上运行，并扩展到超大神经网络；作者称其在病态科学计算任务上胜过 Adam 与 Muon。同日另一篇报道称，SoftServe 论文作者作出补充说明，其更新规则基于二次矩阵方程的解，延续团队 ICML 2024 论文 Batch-and-Match（BaM）的思路。据作者介绍，BaM 是基于 score-based divergence 的黑盒变分推断方法，在高斯族下具有闭式近端更新，并在大 batch 极限下使参数更新呈指数收敛，相比基于 ELBO 优化的 BBVI 通常能用更少的梯度评估收敛。目前公开信息为预印本发布及作者对方法渊源的说明，未涉及其他进展。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。