arXiv cs.CL· Anubhav Jangra, Adrian de Wynter·· 4 小时前AI 评分32
多语言风格个性化生成指标的元评估：如何找到合适的评估指标
Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation
AI 导读
研究提出基于回归的指标元评估方法，用校准后的指标输出预测人类评分，并构建覆盖 10 种语言、4 个评估维度的大规模多语言风格个性化文本生成（SPTG）基准。在 40 个评估设置中对字符串、嵌入向量、LLM-judges 三类共 32 个指标及其集成进行元评估，发现校准到人类评分后，简单的字符串和嵌入向量指标也能匹敌强 LLM-judges。
来源：arXiv cs.CL · arxiv.org