跳到正文
热点事件持续更新

CMU等提出XYBench误解识别基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月,CMU等机构提出XYBench基准,包含8,115条查询,用来考察LLM面对「XY问题」式带误解的提问时,能否识别其中的误解并给出实用方案。测试显示,最强LLM仍多照字面回答(比例0.75–0.92),回应用户真实意图仅0.33–0.71,识别误解最高63%,远低于人类的79–90%。模型在选择题中几乎都偏好「实用回应」,却难以主动生成这种回应。论文将在10月27日ICLR海报环节展示。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. AGI Hunt
    CMU 等提出 XYBench 基准:最强 LLM 识别用户误解不足 63%,仍多照字面回答

    CMU 等机构提出 XYBench 基准(8,115 条查询),考察 LLM 面对「XY 问题」式带误解提问时能否识别误解、给出实用方案。最强 LLM 仍多照字面回答(0.75–0.92),回应用户真实意图仅 0.33–0.71,识别误解最高 63%,远低于人类的 79–90%。模型在选择题中几乎都偏好「实用回应」却难以主动生成,论文将在 10 月 27 日 ICLR 海报环节展示。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。