热点事件持续更新
Manheim 批评 RL 环境与 reward hacking 乱象
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 27 日,据 AGI Hunt 报道,AI 安全研究者 David Manheim 发文暗讽,AI 公司在 RL 环境与 reward hacking 上遭遇的麻烦,本质是长期被回避的评测设计老问题。他配图漫画,把 RL Environment 画成推销员,批评自评自打分的 benchmark 靠 prompt 微调、格式 hack 和利用评分规则刷分,将长时程、人类反馈、不清晰指标等真实问题抛在一边,自己给自己打 PASSED。当晚的后续报道称,他进一步指出这些问题并非新技术难题,而是此前一直被搁置的评测设计缺陷,如今在强化学习训练场景中集中暴露。报道未点名具体公司或项目,也未见相关公司回应。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 20:35
Manheim 进一步指出,RL 乱象并非新技术难题,而是长期被搁置的评测设计缺陷。报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- AGI Hunt安全研究员讽 AI 公司:RL 难题实为老评测设计问题
AI 安全研究者 David Manheim 发文指出,AI 公司在 RL 环境与 reward hacking 上遇到的麻烦并非新技术难题,而是长期被回避的评测设计老问题。他认为这些评测设计缺陷此前一直被搁置,如今在强化学习训练场景中集中暴露。
- AGI HuntAI 安全研究者 David Manheim:RL 环境与 reward hacking 乱象本质是被回避的评测设计老问题
AI 安全研究者 David Manheim 暗讽,AI 公司在 RL 环境与 reward hacking 上遭遇的麻烦,本质是长期被回避的评测设计老问题。他配图漫画将 RL Environment 画成推销员,批评自评自打分的 benchmark 靠 prompt 微调、格式 hack 和利用评分规则刷分。这些做法把长时程、人类反馈、不清晰指标等真实问题抛在一边,自己给自己打 PASSED。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。