AGI Hunt· AbhiVakil29112001·· 3 小时前AI 评分44
Rules to Tools:把科学计算要求做成可执行检查,SciCode 修复率 29/30 超 26/30
Rules to Tools:把科学计算要求做成可执行检查,SciCode 修复率 29/30 超 26/30
AI 导读
Rules to Tools(R2T)将公开的科学要求预制为可执行检查工具,与纯文本要求做配对对比,两个 task-ID 队列的 SciCode 完整修复率为 29/30,高于文本组的 26/30。PDE 配对比较中工具组达 24/24、详细文本为 23/24,工具组报告的模型输出降低 31.2%。可执行检查的收益与任务强相关,但能减少 agent 侧输出开销。
来源:AGI Hunt · agihunt.info