扩散模型中不存在良性过拟合与双下降

2026年10月28日，AGI Hunt 报道了一篇新发布的 arXiv 预印本，该预印本对扩散模型泛化行为的常见解释提出不同看法。作者称，扩散模型中不存在良性过拟合与双下降现象：除非样本量随数据维度指数增长，否则过拟合与良好泛化无法同时出现。其给出的原因是，score matching 缺少回归任务中目标与经验协方差的对齐，因此过拟合“不可修复地有害”。该预印本认为，真正起作用的是 score 时间平滑性带来的隐式正则与 early stopping。上述结论经高维图像生成实验验证。目前该工作仅为预印本，尚无同行评审或后续独立复现的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。