Score Centering 实现细节：topk(128) 与 ρ 重缩放

2026年10月16日，AGI Hunt 报道了 nrehiew 对 Together AI 的 Score Centering 论文实现细节的解读。解读指出，为修正偏差，需要在梯度中减去交叉熵漂移项；实践中这一 stop-gradient 项无需遍历整个词表，只需用词表 topk(128) 的概率来计算。由于截断会丢掉尾部概率，还需引入系数 ρ，按非 top-k 概率对 top-k 做重缩放，使概率总和仍为 1。报道称，这一做法大幅降低了修正项的计算开销。目前该事件仅见这一篇实现层面的解读报道，尚无更多进展披露。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。