跳到正文
原文
arXiv cs.CL· Tian Lan, Han Zhang, Shanshan Wang, Yahan Yu, Jiang Li, Yugo Murawaki·· 3 小时前AI 评分36

APRiL:面向大语言模型中文社交意识的开放式基准

APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models

AI 导读

APRiL 是面向大语言模型中文社交意识的开放式基准,含 2,196 个评测实例、六大类别,覆盖社交场景分析与社交意识回应两项互补任务,并为每个实例配备专属评分标准。在 6 个家族的 12 个模型上,实验发现一致的「理解到回应」落差:高质量场景分析能提升回应质量,弱分析则可能拉低回应质量。

来源:arXiv cs.CL · arxiv.org