arXiv cs.CL· Dmitry Popov, Roman Bokhyan, Ekaterina Enikeeva, Artem Mekhraliev, Stepan Vysotsky, Nikolay Karpachev·· 4 小时前AI 评分45
超越提示词：LLM 机器翻译评估器的系统性研究
Beyond Prompts: A Systematic Study of LLM-Based Machine Translation Evaluators
AI 导读
研究系统考察指令设计、few-shot 示例、基座模型与多步流程对 LLM 机器翻译评估的影响，并整合为 ORBIT 评估器系列。在 WMT24/WMT25 英俄新标注和五个语言对的 MQM、ESA 基准上，高质量示例比数量更关键，融合多基座模型输出优于单评估器多次调用。最强配置在错误片段检测与 Accuracy、Fluency 排序上达到专家水平，成本比专家人工标注低约 20 倍。
来源：arXiv cs.CL · arxiv.org