Base Labs 研究：模型迭代学习新事实，旧知识为何被覆盖遗忘

Base Labs 在新一期周报 Rollout 中研究模型为何会遗忘迭代学习获得的事实，实验基于仅用 1931 年前文本训练的 13B 模型 talkie。向模型依次写入 20 个新事实后，早期写入的事实会被后续事实覆盖丢失，单独写入时召回率接近 100%，20 条全部写入后整体召回率大幅下滑。写入位置越靠中间（6–10、11–15）遗忘越严重，最早与最晚位置保留较好。