arXiv cs.AI· Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang·· 9 小时前AI 评分45
SciΠvot：评测科学自动研究智能体关键决策时刻的首席研究员判断力
Sci$\Pi$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI 导读
SciΠvot 是一个包含 248 个案例的科学判断基准，取材于资深研究者用 LLM 智能体运行 26 个项目、覆盖六个学科领域的六个月科研记录。在中等推理强度并提供项目记录时，五个前沿模型中有四个在所选案例上低于随机水平，最高准确率 63.5%，低于新手的 73.4%。中等推理强度下带项目记录的准确率反而低于不带记录，重新考虑也未稳定提升整体准确率。
来源：arXiv cs.AI · arxiv.org