跳到正文
原文
AGI Hunt· micahgoldblum·· 2 小时前AI 评分36

ExpDis:把 RL 探索与优化解耦,用探索者蒸馏出更强学生模型

ExpDis:把探索与优化解耦,RL 探索者蒸馏出更强学生模型

AI 导读

Micah Goldblum 提出 Exploration-Distillation(ExpDis),把 RL 探索与优化解耦,先用带激进探索机制的 RL 训练「探索者」LLM 合成数据,再把成功发现蒸馏进学生模型。

来源:AGI Hunt · agihunt.info