arXiv cs.CL· Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz, Dilek Hakkani-Tur, Charith Peris, Hari Thadakamalla·· 4 小时前AI 评分42
PersEvalBench：LLM 评估器能否判断用户画像信息的使用是否恰当？
PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
AI 导读
PersEvalBench 用 403 个多轮场景测试 LLM 评估器能否判断用户历史信息的使用是否恰当，覆盖欠个性化、过度个性化与状态误用三类共九种受控错误。人类对欠个性化错误的识别率为 94.4%，最强评估器仅 63.9%。五个 LLM 评估器即使拿到完整对话历史识别仍有限，且常把错误方向判反，高亮相关历史轮次帮助不大。
来源：arXiv cs.CL · arxiv.org