跳到正文
热点事件持续更新

Manheim 批评 RL 环境与 reward hacking 乱象

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 27 日,据 AGI Hunt 报道,AI 安全研究者 David Manheim 发文暗讽,AI 公司在 RL 环境与 reward hacking 上遭遇的麻烦,本质是长期被回避的评测设计老问题。他配图漫画,把 RL Environment 画成推销员,批评自评自打分的 benchmark 靠 prompt 微调、格式 hack 和利用评分规则刷分,将长时程、人类反馈、不清晰指标等真实问题抛在一边,自己给自己打 PASSED。当晚的后续报道称,他进一步指出这些问题并非新技术难题,而是此前一直被搁置的评测设计缺陷,如今在强化学习训练场景中集中暴露。报道未点名具体公司或项目,也未见相关公司回应。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    安全研究员讽 AI 公司:RL 难题实为老评测设计问题

    AI 安全研究者 David Manheim 发文指出,AI 公司在 RL 环境与 reward hacking 上遇到的麻烦并非新技术难题,而是长期被回避的评测设计老问题。他认为这些评测设计缺陷此前一直被搁置,如今在强化学习训练场景中集中暴露。

  2. AGI Hunt
    AI 安全研究者 David Manheim:RL 环境与 reward hacking 乱象本质是被回避的评测设计老问题

    AI 安全研究者 David Manheim 暗讽,AI 公司在 RL 环境与 reward hacking 上遭遇的麻烦,本质是长期被回避的评测设计老问题。他配图漫画将 RL Environment 画成推销员,批评自评自打分的 benchmark 靠 prompt 微调、格式 hack 和利用评分规则刷分。这些做法把长时程、人类反馈、不清晰指标等真实问题抛在一边,自己给自己打 PASSED。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。