跳到正文
原文
AGI Hunt· KAUST·· 3 小时前AI 评分48

KAUST 研究揭示:用自生成文本做测试时训练会系统性损害模型

研究揭示用自生成文本做测试时训练会系统性损害模型

AI 导读

测试时训练(TTT)让模型在推理时把信息写进权重,但用模型自生成文本做更新会形成反馈循环,KAUST 研究显示这会系统性损害模型对独立人类文本的预测。该损害在 128K token 流、三个 TTT-E2E 配置(125M/760M/3B)及对 Qwen3-4B 用 Adam 更新时均复现,改用冻结模型生成训练块(Fixed Generation)可消除 98% 以上损害。

来源:AGI Hunt · agihunt.info