arXiv cs.CL· Tianyun Zhong, Wei Wang, Jialin Li, Jianhong Tu, Liyao Li, Chuqiao Kuang, Tianshi Zheng, Songchi Zhou, Weiqi Zhai, Qile Jin, Jiajia Li, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Shiwei Ye, Bing Zhao, Hu Wei, Lin Qu, Xianpei Han·· 3 小时前AI 评分42
SCI-AGENT-EXAM：面向科研任务的智能体基准测试
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks
AI 导读
SCI-AGENT-EXAM 含 120 项专家编写任务，覆盖 11 个科研领域、7 类研究任务，用于评估 LLM 智能体在真实科研工作流中的表现。测试 10 个前沿 LLM 智能体时，GPT-6 Astra 总分最高为 80.9，但仅 26.0% 的运行超过 0.95 成功阈值。评测结合可执行产物的程序化验证与经专家校准的 LLM 评判，并分析执行轨迹的效率与稳定性，代码与数据已公开。
来源：arXiv cs.CL · arxiv.org