AGI Hunt· KAUST·· 3 小时前AI 评分48
KAUST 研究揭示:用自生成文本做测试时训练会系统性损害模型
研究揭示用自生成文本做测试时训练会系统性损害模型
AI 导读
测试时训练(TTT)让模型在推理时把信息写进权重,但用模型自生成文本做更新会形成反馈循环,KAUST 研究显示这会系统性损害模型对独立人类文本的预测。该损害在 128K token 流、三个 TTT-E2E 配置(125M/760M/3B)及对 Qwen3-4B 用 Adam 更新时均复现,改用冻结模型生成训练块(Fixed Generation)可消除 98% 以上损害。
来源:AGI Hunt · agihunt.info