DeCert 框架无需参考答案评估生成式奖励模型的论证质量

康涅狄格大学与 NEC Labs 提出 DeCert（Decision Certificate Supervision）框架，无需参考解释即可评估生成式奖励模型（GenRM）的论证有效性与结论一致性。论文指出 verdict-only 监督无法区分论证扎实与论证有瑕疵但结论碰巧正确的判断，这类瑕疵理由会在 RLHF 中产生劣质奖励信号。DeCert 由此产出更强的偏好监督信号。