CMU提出BiasReducer消除奖励模型偏置

2026年10月2日，卡内基梅隆大学（CMU）提出 BiasReducer，用于消除奖励模型中与长度、自信度等表面属性相关的偏置。该方法只编辑奖励模型的线性奖励头：用 SAE 风格的编码器学习模型对长度、自信度等表面属性的敏感方向，再据此进行自适应修正，无需重训整个模型。在 5 个奖励模型上的实验中，BiasReducer-M 在三个基准上平均分别提升 8.3、18.0 和 6.9 个百分点，超过两个基于训练的基线。报道称该收益还能迁移到下游，减少输出的冗长与谄媚，同时保持可比的评审质量。目前该事件仅有这一篇报道，暂无后续进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。