跳到正文
热点事件持续更新

Duke 与 Megagon 发布 text-to-SQL 歧义基准 ARCS

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 13 日,Duke University 与 Megagon Labs 联合发布 text-to-SQL 基准 ARCS,该基准针对真实数据库中自然发生的歧义做了完整标注。据该报道,在歧义场景下,gpt-6-sol 的端到端执行准确率仅为 51%,参与评测的开源模型均不超过 27%。ARCS 标注了全部有效歧义点、相应解释以及 SQL 查询,并提出以显式、受约束的交互来替代自由对话式澄清。目前该基准已随发布公开,报道未披露其他模型的具体成绩,也未提及后续更新计划。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt
    Duke 团队发布 ARCS 基准:歧义问题上 GPT 仅 51% 准确率

    Duke University 与 Megagon Labs 发布 text-to-SQL 基准 ARCS,完整标注真实数据库中自然发生的歧义;歧义场景下 gpt-6-sol 端到端执行准确率仅 51%,开源模型均不超过 27%。ARCS 标注全部有效歧义点、解释与 SQL 查询,并提出以显式、受约束的交互替代自由对话式澄清。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。