arXiv cs.AI· Solomon Shalom Lijo·· 2 小时前AI 评分40
Counting the Bandages:如何衡量 AI 节省的时间
Counting the Bandages: On measuring the time that AI saves
AI 导读
论文主张衡量 AI 节省的时间应看“账本”而非“秒表”,须把省下的时间与放过的错误一并计算。复现 METR 开发者研究显示,246 个 issue 支持 19% 或 24% 的减速;GPT-5 在 GDPval 逐份审查流程中加速上限仅 3.6x。预注册实验中,AI 审查员被告知起草者出错频率比实际低十倍后,9 个数字少查 7 个,22.5% 的简报放过错误数字。
来源:arXiv cs.AI · arxiv.org