AGI Hunt· Cohere_Labs·· 3 小时前AI 评分47
Cohere 文化谜题基准:最佳模型仅 79 分,部分社区低至 22%
Cohere 文化谜题基准:最佳模型仅 79 分,部分社区低至 22%
AI 导读
Cohere Labs 发布 CulturalRiddles 基准,用 6200 条人类撰写文化谜题测试 28 个 AI 模型,最佳模型整体准确率仅 79%。部分文化社区准确率低至 22% 或更低,开启翻译后平均准确率从 22% 提升到 32%。31% 的被审答案属于编造,模型很少承认不确定;谜题由 167 位作者在 45 国以 51 种语言创作,研究材料开源。
来源:AGI Hunt · agihunt.info