研究：推理、知识、理解类 AI 基准高度相关或测同一概念

一项研究观察到，声称分别测量推理、知识与理解的 AI 基准之间相关性很强，暗示这些基准可能并未捕捉到相互独立的概念，其区分度存疑。该研究主张用聚敛与区分效度系统评估 AI 基准有效性，并把心理测量效度检验移植到 AI 基准与 IRT 逐题分析。同时公开发布了覆盖 53 个模型、56 项基准的逐题输出数据集。