Apple Machine Learning Research·· 14 天前AI 评分46
TS-DFM:以轨迹为教师、经能量导航蒸馏的少步离散流匹配
Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation
AI 导读
TS-DFM 用能量导航替代离散流匹配训练中的盲随机跳步:轻量能量罗盘在每个中间点评估候选续写、选出最连贯的一支,且塑造仅在训练期进行,推理成本不变。在 170M 参数语言建模上,8 步学生模型的困惑度比 1024 步教师低 32%、速度快 128×,增益在多种源分布和三种规模递增的评估器上一致。其困惑度优于所有对比的离散生成基线,包括训练数据多 6× 或模型大 5× 的方法。
来源:Apple Machine Learning Research · machinelearning.apple.com