跳到正文
原文
AGI Hunt· nrehiew_·· 2 小时前AI 评分34

Score Centering 实现细节:用 topk(128) 与 ρ 重缩放抵消漂移

Score Centering 实现细节:topk(128) 加 ρ 重缩放抵消漂移

AI 导读

nrehiew 解读 Score Centering 论文实现细节:为修正偏差需在梯度中减去交叉熵漂移项,实践中该 stop-gradient 项只需用词表 topk(128) 概率计算。为补偿被截断的尾部概率,需引入系数 ρ 按非 top-k 概率对 top-k 重缩放,使总和仍为 1。这一做法大幅降低了修正项的计算开销。

来源:AGI Hunt · agihunt.info