跳到正文
原文
AGI Hunt· megagonlabs·· 3 小时前AI 评分41

Duke 团队发布 ARCS 基准:歧义问题上 GPT 仅 51% 准确率

AI 导读

Duke University 与 Megagon Labs 发布 text-to-SQL 基准 ARCS,完整标注真实数据库中自然发生的歧义;歧义场景下 gpt-6-sol 端到端执行准确率仅 51%,开源模型均不超过 27%。ARCS 标注全部有效歧义点、解释与 SQL 查询,并提出以显式、受约束的交互替代自由对话式澄清。

来源:AGI Hunt · agihunt.info