热点事件持续更新
CMU等提出XYBench误解识别基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月,CMU等机构提出XYBench基准,包含8,115条查询,用来考察LLM面对「XY问题」式带误解的提问时,能否识别其中的误解并给出实用方案。测试显示,最强LLM仍多照字面回答(比例0.75–0.92),回应用户真实意图仅0.33–0.71,识别误解最高63%,远低于人类的79–90%。模型在选择题中几乎都偏好「实用回应」,却难以主动生成这种回应。论文将在10月27日ICLR海报环节展示。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 16:28
XYBench论文将于10月27日在ICLR海报环节展示。报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- AGI HuntCMU 等提出 XYBench 基准:最强 LLM 识别用户误解不足 63%,仍多照字面回答
CMU 等机构提出 XYBench 基准(8,115 条查询),考察 LLM 面对「XY 问题」式带误解提问时能否识别误解、给出实用方案。最强 LLM 仍多照字面回答(0.75–0.92),回应用户真实意图仅 0.33–0.71,识别误解最高 63%,远低于人类的 79–90%。模型在选择题中几乎都偏好「实用回应」却难以主动生成,论文将在 10 月 27 日 ICLR 海报环节展示。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。