位置选择性自蒸馏训练LLM评判模型
先了解这件事
2026年10月1日，arXiv cs.CL 刊出研究，提出位置选择性自蒸馏方法，用于从自然语言反馈训练 LLM 评判模型：依据教师模型与学生模型的逐位置熵差，对高熵差位置做掩码，以提升分布外泛化能力。结果显示，所得评判模型在评测的主观子类上，比 GRPO 等结果监督强化学习训练的评判模型高 2 至 9 个百分点；在客观子类上则保持相当水平。10月2日，AGI Hunt 报道补充称，该方法出自亚马逊研究团队，称为熵移位掩码自蒸馏，对高熵移位位置做掩码、保留低尾，并用师生间逐位置熵移位区分 context sharpening 与 context spreading 两种模式。两篇报道在效果数字上一致，均称主观子类高出 2 至 9 个百分点、客观任务上具竞争力。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI Hunt亚马逊新方法：用熵移位掩码自蒸馏训练 LLM judge，超 GRPO 2-9 个点
亚马逊研究团队用熵移位掩码自蒸馏训练 LLM judge，对高熵移位位置做掩码、保留低尾，改善分布外泛化。该方法用师生间逐位置熵移位区分 context sharpening 与 context spreading 两种模式，所得 judge 在主观子类上比 outcome-supervised RL（如 GRPO）高 2-9 个百分点，客观任务上仍具竞争力。
- arXiv cs.CL通过位置选择性自蒸馏从语言反馈训练 LLM 评判模型
研究提出位置选择性自蒸馏，用自然语言反馈训练 LLM 评判模型，依据教师与学生的逐位置熵差对高熵差位置做掩码，从而提升分布外泛化。所得评判模型在评测的主观子类上比 GRPO 等结果监督强化学习训练的评判模型高 2-9 个百分点，客观子类上保持相当水平。
本事件热度走势
当前热度 16·可比范围峰值 16（10月2日 04:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。