跳到正文
原文
AGI Hunt· mmbronstein·· 4 小时前AI 评分43

ETH/Oxford 新方法 LFD:用冻结 LLM 蒸馏出「听得懂人话」的科学生成器

ETH/Oxford 新方法 LFD:用冻结 LLM 蒸馏出「听得懂人话」的科学生成器

AI 导读

ETH、Oxford 等机构提出 LLM-to-Flow Distillation(LFD),用冻结 LLM 当自适应教师,把自然语言科学目标蒸馏进流/扩散生成器。教师按生成器当前能力构建中间子目标课程,逐轮评判候选样本,偏好经 DPO 迭代蒸馏,无需显式代理奖励。即使初始模型对目标设计的概率几乎为零,也能提供密集学习信号,论文、代码与网站已公开。

来源:AGI Hunt · agihunt.info