arXiv cs.AI· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 9 小时前AI 评分44
CleanRM：用少量干净反馈为 RLHF 做噪声反馈下的奖励建模
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
AI 导读
CleanRM 提出用少量干净反馈、通过最优传输校准逐样本噪声比例，从噪声偏好数据中训练 RLHF 奖励模型。该方法将对齐从噪声反馈还原的偏好联合分布与干净反馈分布，并用噪声校正的替代损失训练奖励模型，理论上证明该目标对干净风险无偏。实验显示 CleanRM 优于现有去噪基线，并带来更有效的下游 RLHF 对齐。
来源：arXiv cs.AI · arxiv.org