跳到正文
热点事件持续更新

HF 研究员指出推理力度越高拒绝越多准确率越低

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 14 日,AGI Hunt 报道,Hugging Face 研究员 Lewis Tunstall 在评测闭源模型涉及安全拒绝类任务(网络攻击、生物等)时发现一个反直觉现象:推理力度低时模型很少触发拒绝,准确率反而高;把推理力度拉到最大时,模型出现大量拒绝,准确率随之走低。他表示,这使 test-time compute 曲线出现反转——算力投入最多的设置表现最差,原因是拒绝大量吞掉了评测成绩。Tunstall 由此提出疑问:面对这种与安全拒绝交织的情况,应当如何公平地报告模型性能。截至目前,报道中未给出该现象的具体模型名称、样本规模或进一步结论,也未提到相关厂商的回应。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. AGI Hunt
    Hugging Face 研究员 Lewis Tunstall 指出推理力度拉满反而更差,拒绝率飙升拖垮评测成绩

    Hugging Face 研究员 Lewis Tunstall 指出,评测闭源模型涉及安全拒绝任务(网络攻击、生物等)时出现反直觉现象:低推理力度很少触发拒绝、准确率高,最大推理力度则大量拒绝、准确率低。这让 test-time compute 曲线出现反转,算力花得最多的设置表现最差,因为拒绝大量吞掉了成绩。他提问这种情况该如何公平地报告模型性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。