AGI Hunt· ravi_iitm·· 4 小时前AI 评分45
EMNLP 海报研究:LLM-as-a-Judge 的评分 rubric 存在可被利用的伪影
AI 导读
IIT Madras 团队在 EMNLP 2026 海报研究指出,LLM-as-a-Judge 的评分 rubric 存在系统性伪影。仅向 probe 输入 rubric 即可预测 judge 裁决;扰动测试中,输出扰动下 GPT 与 Llama judge 一致率仅约 62.3%,rubric 扰动下仅 9.68%。
来源:AGI Hunt · agihunt.info