跳到正文
原文
AGI Hunt· BranchOPD·· 2 小时前AI 评分37

清华北大商汤提出 BranchOPD:分支式在线蒸馏,数学提升 18.55 点

AI 导读

清华、北大与商汤科技提出 BranchOPD 分支式在线蒸馏,数学任务 avg@16 平均准确率较 Vanilla OPD 提升 18.55 个百分点。该方法用学生不确定性与师生分歧挑选决策点,从共享前缀重采样并施加 token 级教师监督,共享前缀复用使 ALFWorld、WebShop 学生生成 token 成本分别降约 19% 和 31%。

来源:AGI Hunt · agihunt.info