跳到正文
原文
AGI Hunt· sanmikoyejo·· 1 天前AI 评分45

研究:53 个模型、56 项基准显示,偏差基准按任务形式聚簇,而非宣称测量的性别种族偏差

偏差基准按任务形式聚簇,而非宣称测量的性别种族偏差

AI 导读

一项覆盖 53 个模型、56 项基准的研究发现,性别与种族偏差基准实际按任务类型聚簇,而非按其所宣称测量的人口群体聚簇,基准间的相关性更多来自共享设计元素。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出 BBQ 等偏差基准可能在测推理而非偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。

来源:AGI Hunt · agihunt.info