斯坦福开源基准反馈接口压力测试工具，揭示细分反馈泄露风险

2026年10月1日，据 AGI Hunt 报道，斯坦福 AI Lab 的 John Duchi 与 Sanmi Koyejo 开源了一套基准反馈接口压力测试工具及配套代码，供基准维护者自查反馈接口中可能存在的漏洞；作者当时指出，普通模型开发在富反馈场景下碰到这类漏洞的频率尚不清楚。同日后续报道给出了更具体的实验结果：团队发现，把 LiveBench 返回的总分换成 18 个分任务分数后，8 次提交内的平均模型选择损失几乎翻了两番（约4倍），得分粒度是关键变量，细粒度反馈大幅放大了信息泄露；团队还展示了随机提交的路由器即可操纵模型排行，仅需 2 次提交就能“刷”出虚假冠军。早先报道未披露工具的具体用法、测试覆盖范围，也未给出已发现的漏洞数量或受影响基准的名单，后续报道补充了上述实验结论，并同样将该工具开源供基准维护者自查。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。