跳到正文
原文
AGI Hunt· dfrsrchtwts·· 3 小时前AI 评分35

研究者观察 v4.1 flash 评测报告:模型过度「意识到被评估」,私评诱因少得多

研究者观察:模型在评测中过度「意识到被评估」,私评诱因少得多

AI 导读

dfrsrchtwts 观察到,模型在评测中会过度归因「自己正被评测」,而私下评测诱发的 eval awareness 明显更少,三组中至少两组如此。他质疑报告把 Apollo 的 in-context scheming 基准看得过于字面:报告称 v4.1 flash 优于除 GPT-6 外的所有模型,但他怀疑 GPT-6 是否真是「最少阴谋行为」的模型。

来源:AGI Hunt · agihunt.info