跳到正文
原文
AGI Hunt· AWS·· 3 小时前AI 评分29

AWS 提出 SCOUT 框架,修复 on-policy 蒸馏中教师的 off-policy 失配

SCOUT 框架修复 on-policy 蒸馏中教师的 off-policy 失配

AI 导读

AWS 团队提出 SCOUT(Student-COnditioned Updates of the Teacher)共训练框架,用于修复 on-policy 蒸馏(OPD)中学生轨迹对教师而言是 off-policy 的根本性失配。

来源:AGI Hunt · agihunt.info