arXiv cs.CL· Cheng Chang, Yining Mao, Peng Qi·· 4 小时前AI 评分38
PADMÉ：面向 LM 智能体评估器元评估的偏好对齐数据合成方法
PADM\'E: Preference Alignment Data Synthesis for Meta-Evaluation of LM Agent Evaluators
AI 导读
PADMÉ 用小型语言模型合成 LM 智能体评估器的偏好对齐元评估数据，无需人工参与。其原型在 4 个智能体领域、3 项评估标准下合成 1,000 条样本，150 条子集的人工验证显示与人类判断的一致率从朴素基线的 73% 升到 85%。用该数据集元评估 25 个常见模型，显示评估表现与评分粒度、宽松度和模型规模相关。
来源：arXiv cs.CL · arxiv.org