循环复用架构红利有限且依赖数据条件

2026年10月6日，AGI Hunt 报道了一项关于循环复用架构的研究。报道称，新鲜数据阶梯实验显示，在低 token 预算下参数绑定的损失代价更小，暗示循环架构多 epoch 复用的收益有限，即该类架构的红利有限且依赖数据条件。研究还发现，donor 一致性修复方法在没有 LSTM 式传递的情况下同样有效；在宽度 512 的试点实验中，该方法对门控 carry、普通递归和输入注入三种变体均降低了冷启动损失。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。