AGI Hunt· arena·· 11 小时前AI 评分36
Arena CEO:花钱雇人做基准数据集的那一刻,评测就不再真实
Arena CEO:花钱雇人做基准数据集的那一刻,评测就不再真实
AI 导读
Arena CEO Anastasios Angelopoulos 称,付费雇人生成 AI 基准会让评测失真,因为付费众包存在逆向选择,私有数据集无法反映真实任务。他强调 LMArena 的价值在于持续获得真实世界的新鲜数据,帮助模型在实际任务上改进。他称“现实是唯一有意义的裁判”。
来源:AGI Hunt · agihunt.info