研究提出用聚敛与区分效度系统评估 AI 基准有效性

研究团队提出用心理测量学中的聚敛效度与区分效度评估 AI 基准有效性：声称测相似概念的基准应相关，测不同概念的不应相关。该方法既可用于评估单个基准，也可评估基准组合，并配套公开发布 53 个模型、56 项基准的逐题输出数据集。相关分析发现，偏差基准 BBQ 可能在测推理而非偏差，推理、知识、理解类基准高度相关，而同类安全基准相关性弱。