AGI Hunt· BlackHC·· 12 小时前AI 评分32
研究发现循环复用架构红利有限,且依赖数据条件
研究发现循环复用架构红利有限且依赖数据条件
AI 导读
新鲜数据阶梯实验显示,低 token 预算下参数绑定的损失代价更小,暗示循环架构多 epoch 复用的收益有限。研究还发现,donor 一致性修复方法在没有 LSTM 式传递的情况下同样有效,在宽度 512 的试点实验中对门控 carry、普通递归和输入注入三种变体均降低了冷启动损失。
来源:AGI Hunt · agihunt.info