跳到正文
原文
AGI Hunt· haider1·· 4 小时前AI 评分41

Meta:更强基座让后训练能力更好迁移,预训练 scaling 仍是关键

AI 导读

Meta 表示,更强的基座模型能让后训练的增益更好地迁移到训练中没见过的陌生任务上,而不仅限于训练过的那些任务。这一说法针对「RL 后训练才是王道」的流行叙事,提醒预训练 scaling 依然重要:基座不够强,RL 调出来的能力容易过拟合在训练分布内。

来源:AGI Hunt · agihunt.info