跳到正文
原文
arXiv cs.CL· Chenguang Wang, Ming Li, Chengrui Fan, Jianpeng Chen, Han Chen, Tianyi Zhou, Dawei Zhou·· 8 小时前AI 评分39

可信 AI 审稿缺失的一环:从 RobustReview 修辞鲁棒性基准到 SciCore 审稿

A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review

AI 导读

AI 审稿研究提出 RobustReview 基准与 SciCore 双分支审稿器,要求审稿在内容保持改写下稳定、且能区分不同论文。RobustReview 含 1,260 个稿件版本、评测 30 种审稿配置,发现低改写敏感性与跨论文分数塌缩并存的“虚假鲁棒性”,且人类对齐与修辞鲁棒性的审稿人排名并不一致。

来源:arXiv cs.CL · arxiv.org