AGI Hunt· AndrewLampinen·· 5 小时前AI 评分58
新研究:合成数据持续累积时,模型崩溃并不会发生
新研究:合成数据持续累积时,「模型崩溃」并不会发生
AI 导读
MGerstgrasser、Rylan Schaeffer 等人的新研究显示,当数据持续累积(accumulating pool)时,被广泛担忧的 model collapse 并不会发生。即使在最坏情况下,不加入任何新的真实数据、模型只在原始数据加不断累积的合成数据池上训练,性能依然保持稳定,这为合成数据在数据受限预训练中的可用性提供了实证。
来源:AGI Hunt · agihunt.info