AGI Hunt· ypatil125·· 2 小时前AI 评分43
AC2 引入 reward hacking 自动监控,RL 训练作弊自动被追查
AC2 引入 reward hacking 自动监控,RL 训练作弊自动被追查
AI 导读
训练平台 AC2 加入 reward-hacking 监控,每次 RL 训练运行都会被检查是否存在作弊行为,研究 agent Ari 会自动调查被标记的异常。团队指出,模型一旦发现某个 exploit,可能只需几个训练步骤就把它变成默认策略,而过去靠人读 trace、跑一次性 agent 查询的方式易错且无法规模化。
来源:AGI Hunt · agihunt.info