跳到正文
原文
AGI Hunt· KingsCollegeLondon·· 3 小时前AI 评分33

VRSD 用提示词正则化自蒸馏,Pass@1 平均提升 3.9 个百分点

AI 导读

King's College London 与腾讯优图等提出 VRSD,用 system prompt 正则化教师模型对特权信息的使用,改进 on-policy self-distillation(OPSD)训练 LLM 的方式。

来源:AGI Hunt · agihunt.info