arXiv cs.CL· Tian Lan, Han Zhang, Shanshan Wang, Yahan Yu, Jiang Li, Yugo Murawaki·· 3 小时前AI 评分36
APRiL:面向大语言模型中文社交意识的开放式基准
APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
AI 导读
APRiL 是面向大语言模型中文社交意识的开放式基准,含 2,196 个评测实例、六大类别,覆盖社交场景分析与社交意识回应两项互补任务,并为每个实例配备专属评分标准。在 6 个家族的 12 个模型上,实验发现一致的「理解到回应」落差:高质量场景分析能提升回应质量,弱分析则可能拉低回应质量。
来源:arXiv cs.CL · arxiv.org