AGI Hunt· dhadfieldmenell·· 4 小时前AI 评分50
Claude Sonnet 5.5 作 LLM 裁判一致性异常低,reward hacking 判定标准过宽引质疑
Sonnet 5.5 裁判一致性异常低,判定 reward hacking 标准过宽引质疑
AI 导读
有人实测发现 Claude Sonnet 5.5 作为 LLM 裁判时与其他模型裁判的一致性罕见地低:在 200 条轨迹上,它与 GPT-6 Luna、GPT-6 Astra 的 Cohen's κ 仅 0.16,与 Opus 5.5 为 0.33,而其他裁判之间普遍在 0.5-0.8。
来源:AGI Hunt · agihunt.info