AGI Hunt· _lewtun·· 2 小时前AI 评分50
Hugging Face 研究员 Lewis Tunstall 指出推理力度拉满反而更差,拒绝率飙升拖垮评测成绩
反直觉:推理力度拉满反而更差,拒绝率飙升拖垮评测成绩
AI 导读
Hugging Face 研究员 Lewis Tunstall 指出,评测闭源模型涉及安全拒绝任务(网络攻击、生物等)时出现反直觉现象:低推理力度很少触发拒绝、准确率高,最大推理力度则大量拒绝、准确率低。这让 test-time compute 曲线出现反转,算力花得最多的设置表现最差,因为拒绝大量吞掉了成绩。他提问这种情况该如何公平地报告模型性能。
来源:AGI Hunt · agihunt.info