热点事件持续更新
LSD在线蒸馏法消解RL后训练长度税
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
据 AGI Hunt 2026 年 10 月 1 日报道，针对强化学习后训练中出现的「长度税」问题，出现名为 Length Self-Distillation（LSD）的在线蒸馏方法。其做法是采用 on-policy 蒸馏：把已解决的 prompt 路由到蒸馏流程，未解决的 prompt 则保留原有 RL 目标；教师模型取在线策略的指数移动平均，无需依赖外部模型。报道称该方法可消解 RL 后训练的「长度税」，相关指标减少近 23 个百分点。报道未给出更多实验设置、模型规模或发布时间等细节，目前亦无后续进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月1日 22:17
新报道称 LSD 在线蒸馏可消解 RL 后训练长度税，指标减少近 23 个百分点。报道时间线
沿着报道，了解事件的不同侧面。
10月1日
- AGI HuntLSD 在线蒸馏法消解 RL 后训练的「长度税」，减少近 23 个百分点
Length Self-Distillation（LSD）用 on-policy 蒸馏消解 RL 后训练的「长度税」：已解决的 prompt 路由到蒸馏、未解决的保留原 RL 目标，教师模型取在线策略的指数移动平均，无需外部模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。