跳到正文
原文
AGI Hunt· aryaman2020·· 2 小时前AI 评分36

权重魔改易伤生成类评测,MMLU 却基本无恙

AI 导读

aryaman2020 指出,对模型做各种大幅权重改动通常不会明显拉低 MMLU 这类基准成绩,但生成式任务极易被打坏。提示基准上的分数未必反映模型真实能力的变化。

来源:AGI Hunt · agihunt.info