Ai2 基于 ICLR 2026 审稿构建新颖性基准并评测 GPT-5.4
先了解这件事
Ai2 从 ICLR 2026 的审稿意见中构建了一套新颖性基准，得到 154 篇强新颖性论文与 145 篇弱新颖性论文的对照样本；样本只保留审稿人一致判定「有」或「无」原创性、且在其研究领域得分异常高或低的论文。评测设计了两套测试集：人类-人类配对与人类-AI 配对，评委模型需在配对中选出更新颖的点子，或对单个点子标注是否新颖。其中，人类-人类配对对比新颖性证据强与弱的点子，人类-AI 配对则对比带新颖性证据的人类点子与假定新颖性较低的 LLM 基础点子。最新公布的评测结果显示，在人类-人类配对中，GPT-5.4 被问「哪个点子被评审认为更新颖」时有 93.5% 选对人类点子，而直接问「哪个更新颖」时该比例跌至 40.9%。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntAi2 评测：GPT-5.4 判断人类点子更新颖的比例随问法从 93.5% 跌至 40.9%
Ai2 公布新颖性评测的后续发现，在人类-人类配对中，GPT-5.4 被问「哪个点子被评审认为更新颖」时 93.5% 选对人类点子，直接问「哪个更新颖」时比例跌至 40.9%。
- AGI HuntAi2 新颖性评测设计：人类配对与人类-AI 配对两套测试集
Ai2 为新颖性评测设计了两套测试集：人类-人类配对和人类-AI 配对，评委模型需在配对中选出更新颖的点子，或对单个点子标注是否新颖。人类-人类配对对比新颖性证据强与弱的点子，人类-AI 配对则对比带新颖性证据的人类点子与假定新颖性较低的 LLM 基础点子。GPT-5.4 判定人类点子更新颖的比例随问法从 93.5% 跌至 40.9%。
- AGI HuntAi2 从 ICLR 2026 审稿意见构建新颖性基准：154 篇强新颖性论文对 145 篇弱新颖性论文
Ai2 从 ICLR 2026 审稿意见中构建新颖性基准，得到 154 篇强新颖性论文与 145 篇弱新颖性论文的对照。样本仅保留审稿人一致判定「有」或「无」原创性、且在其研究领域得分异常高或低的论文。评测细节显示，GPT-5.4 判人类点子更新的比例随问法从 93.5% 跌至 40.9%。
本事件热度走势
当前热度 9·可比范围峰值 10（10月28日 01:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。