热点事件持续更新
三路研究探讨 agent 评测框架 harness 自动改写
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
围绕 agent 评测框架（harness）是否应自动改写，目前已有三路研究。CMU 与 Johns Hopkins 用 LLM 加强化学习自动重写 harness 代码，使其对任务类型更有效；Google、Stanford 对重写过程做正则化，以避免过拟合训练样例；Apple 的结论相反，认为 LLM 足够强时 harness 代码长什么样并不重要。研究者 Burkov 将这三篇工作汇总，三者共同追问：评测框架本身究竟是变量还是噪声。AGI Hunt 于 2026 年 10 月 13 日发布的汇总报道介绍了上述内容，未给出各工作的发表时间与实验细节。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 01:53
AGI Hunt 汇总三篇 harness 改写研究，追问评测框架是变量还是噪声。报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AGI Hunt评测框架代码成研究热点：CMU 用 LLM+RL 自动改写 harness
CMU 与 Johns Hopkins 用 LLM + 强化学习自动重写 agent 评测框架 harness 代码，使其对任务类型更有效。Google、Stanford 等对重写过程做正则化以避免过拟合训练样例，Apple 则相反：LLM 足够强时 harness 代码长什么样并不重要。研究者 Burkov 汇总的这三篇工作共同追问：评测框架本身是变量还是噪声。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。