arXiv cs.CL· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 3 小时前AI 评分39
CoBe:对话式反事实文本编辑基准
CoBe: A Benchmark For Conversational Counterfactual Text Editing
AI 导读
CoBe 是评估模型零样本对话式反事实文本编辑能力的基准,包含 2000 道覆盖医疗、科学与工程、商业和日常场景的问题。前沿模型平均得分仅 58.05%,且常退化为关联式生成,而非保留原场景的因果结构。性能不随模型规模或输出 token 长度稳定提升,研究者认为该失败可能源于训练目标而非模型容量不足。
来源:arXiv cs.CL · arxiv.org