arXiv cs.CL· Dmitry Popov, Vladislav Negodin, Ekaterina Enikeeva, Iana Matrosova, Nikolay Karpachev, Max Ryabinin·· 4 小时前AI 评分37
RATE 协议：人类水平机器翻译时代的评测再思考
Refined Assessment for Translation Evaluation: Rethinking Machine Translation Evaluation in the Era of Human-Level Systems
AI 导读
研究者提出 RATE 协议和基于 WMT24 英俄翻译的专家评测数据集，以改进人类水平机器翻译的评测。无时间压力的专家评估与标准评估结果显著不同；在该数据集上，最新机器翻译系统的准确率可能已超过人工译文，但流利度仍落后，这一区别被现有偏重准确率的指标掩盖。
来源：arXiv cs.CL · arxiv.org