跳到正文
原文
AGI Hunt· deliprao·· 3 小时前AI 评分40

Delip Rao 自曝遭排行榜冷处理:私有评测集让排名维护方权力过大

Delip Rao 自曝遭排行榜冷处理:私有评测集让排名维护方权力过大

AI 导读

Delip Rao 指出公共 AI 排行榜改用公共+私有或纯私有数据集评测后,评测权力转移到了榜单维护方手中。他称自己的系统即使确实优于当前 top-k,是否被评测仍完全取决于维护者,后者若有动机偏袒现有头部公司,可拖延评测让榜单保持不变,新系统永远得不到公平竞争机会。他表示因怕处境更糟而不愿点名涉事排行榜。

来源:AGI Hunt · agihunt.info