arXiv cs.CL· Zheyuan Zhang, Mengyuan Chao, Ke Xiao, Ziyi Chen, Daoan Zhang, Yan Zhang, Yanfang Ye, Wei Xu·· 8 小时前AI 评分40
超越 Oracle 沟通:Drift-Bench++ 基准评测误沟通与意图演化下的交互式意图对齐
Beyond Oracle Communication: Benchmarking Interactive Intent Alignment Under Miscommunication and Evolving User Intent
AI 导读
提出 Drift-Bench++ 基准与 GRIP 评估协议,用于在误沟通和意图演化下评测交互式意图对齐。该基准以可控误对齐与意图漂移的可执行任务构建,引入有限耐心和多样化模拟用户;GRIP 覆盖任务接地、用户真实性、提问有效性与意图适应。实验显示更强交互持续有帮助但仍远未达 oracle 表现,ProdAgent 部署会话中这类失败普遍且影响重大。
来源:arXiv cs.CL · arxiv.org