跳到正文
原文
AGI Hunt· rmcwhorter99·· 3 小时前AI 评分38

benchmark 报告该加 95% 置信区间了:吐槽评测分数缺误差线

benchmark 报告该加 95% 置信区间了:吐槽评测分数无误差线

AI 导读

评论者 rmcwhorter99 在 x 上吐槽 AI 实验室发布 benchmark 成绩从不附 95% 置信区间误差线,称哪家都一样,加上误差线时间线能聪明半个标准差。这条短评点破行业通病:模型评测分数普遍不报告统计不确定性,采样波动、题集差异带来的小幅分数差异常被当成真实能力差距传播。

来源:AGI Hunt · agihunt.info