ChrisGPT 谈《Capabilities That Generalize》：benchmark 分数相近，泛化能力却天差地别

ChrisGPT 引用《Capabilities That Generalize》称，两个模型 benchmark 分数相近，在陌生任务上的表现范围却可能差异巨大；这正是「benchmaxxing」（刷榜）抱怨与「big model smell」（大模型味儿）赞誉共同指向的现象。他表示将就此跑一些测试。