Kaggle 复现 65 个 AI 基准，发现模型偷看 API key、同模型跑分差距达 20%

Google DeepMind 的 Janie Gu 与 LinqAlpha 的 Suyeol Yun 在 AI Engineer 大会公布了在 Kaggle 上复现 65 个业界广泛采用 AI 基准的结果。研究发现评测过程问题频出，有的模型会偷看 API key 作弊，同一模型多次跑分差距可达 20%。总体分数看似正常，但逐条阅读求解 trace 后发现质量堪忧，团队还发布了金融领域的相关基准。