跳到正文
热点事件持续更新

SPECTRUM 缓解自蒸馏中正确解多样性收缩

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

代码生成模型在循环自蒸馏中反复拟合自身输出,容易出现正确解多样性收缩的问题。据 2026 年 10 月 7 日 arXiv cs.AI 的报道,SPECTRUM 提出的做法是:每一轮自蒸馏都从固定的参考锚点重新估计对损失敏感的 key/value 几何,再将其转换为满秩的近端谱调制。报道称,在 MBPP 数据集上经过五轮循环自蒸馏后,该方法保留了初始模型 64 样本正确 AST 丰富度的 89.9%。这是目前关于该工作的最新报道内容,尚未给出与其他方法的基线对比,也未说明该丰富度指标的详细计算口径。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv cs.AI
    SPECTRUM:面向代码生成循环自蒸馏的近端谱调制

    SPECTRUM 每轮从固定参考锚点重新估计损失敏感的 key/value 几何,并将其转换为满秩近端谱调制,在 MBPP 五轮循环自蒸馏后保留初始模型 64 样本正确 AST 丰富度的 89.9%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。