Ai2 新颖性评测设计：人类配对与人类-AI 配对两套测试集

Ai2 为新颖性评测设计了两套测试集：人类-人类配对和人类-AI 配对，评委模型需在配对中选出更新颖的点子，或对单个点子标注是否新颖。人类-人类配对对比新颖性证据强与弱的点子，人类-AI 配对则对比带新颖性证据的人类点子与假定新颖性较低的 LLM 基础点子。GPT-5.4 判定人类点子更新颖的比例随问法从 93.5% 跌至 40.9%。