跳到正文
原文
arXiv cs.AI· Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee·· 1 天前AI 评分33

TISD:带轨迹干预的在线策略自蒸馏

TISD: On-Policy Self-Distillation with Trajectory Intervention

AI 导读

TISD 提出一种分支-重生成-蒸馏算法:强制教师选择的轨迹分支动作,由学生生成后续后缀,再用特权上下文条件教师蒸馏完整轨迹。在编码模型上,TISD 较 SDPO 将平均 Avg@4 提升 1.2 个百分点;在科学领域,等步数预算下平均 Avg@128 提升 0.8 分,等时间预算下提升 0.3 分。这些结果支持教师引导的分支可作为暴露有用后继上下文的自蒸馏方式。

来源:arXiv cs.AI · arxiv.org