跳到正文
原文
AGI Hunt· Tencent-Hunyuan·· 3 小时前AI 评分38

南大与腾讯研究:4 条 prompt 蒸馏效果抵 3840 条,prompt 效用取决于师生模型组合

南大腾讯研究:4 条 prompt 蒸馏效果抵 3840 条,prompt 效用取决于师生对

AI 导读

南京大学与腾讯 LLM 部门研究发现,on-policy distillation(OPD)中仅 4 条 DAPO prompt 的数学成绩即可达到 3840 条 DeepMath prompt 的水平。prompt 效用取决于师生模型组合,只更换教师模型就可能让数学与代码 prompt 的相对效果反转,定向选择并未稳定优于均匀随机采样。在有效支持集上继续 OPD 可恢复不利迁移后的性能。

来源:AGI Hunt · agihunt.info