跳到正文
原文
AGI Hunt· rajammanabrolu·· 11 小时前AI 评分55

前 Meta 研究员提醒:新模型旧榜强新榜弱是评测危险信号

AI 导读

前 Meta 研究员 rajammanabrolu 提出一个甄别模型评测水分的信号,如果某新模型在很老的基准上远超同类,却在更新基准上没有相应优势,那么存在数据污染、基准过拟合等混杂因素的可能性要大得多。他表示这条经验可以当作快速甄别评测水分的启发式。

来源:AGI Hunt · agihunt.info