热点事件持续更新
Duke 与 Megagon 发布 text-to-SQL 歧义基准 ARCS
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 13 日,Duke University 与 Megagon Labs 联合发布 text-to-SQL 基准 ARCS,该基准针对真实数据库中自然发生的歧义做了完整标注。据该报道,在歧义场景下,gpt-6-sol 的端到端执行准确率仅为 51%,参与评测的开源模型均不超过 27%。ARCS 标注了全部有效歧义点、相应解释以及 SQL 查询,并提出以显式、受约束的交互来替代自由对话式澄清。目前该基准已随发布公开,报道未披露其他模型的具体成绩,也未提及后续更新计划。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 11:17
ARCS 基准发布:歧义场景下 GPT 端到端执行准确率仅 51%,开源模型不超 27%。报道时间线
沿着报道,了解事件的不同侧面。
10月13日
- AGI HuntDuke 团队发布 ARCS 基准:歧义问题上 GPT 仅 51% 准确率
Duke University 与 Megagon Labs 发布 text-to-SQL 基准 ARCS,完整标注真实数据库中自然发生的歧义;歧义场景下 gpt-6-sol 端到端执行准确率仅 51%,开源模型均不超过 27%。ARCS 标注全部有效歧义点、解释与 SQL 查询,并提出以显式、受约束的交互替代自由对话式澄清。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。