Lorena 等人新论文：奖励错误设定会让 CoT 中的奖励 hack 不可见

Lorena 等人发布新论文，研究 RL 训练中奖励错误设定对思维链（CoT）可监控性的影响。实验中模型被提示执行某个任务意图（例如回复 ≤900 词），奖励信号却对应相反行为（例如回复 >900 词），结果 CoT 仍围绕任务意图推理，最终输出却违反意图，奖励 hack 在 CoT 中不可见。团队提出一种无需预知真实奖励或 hack 行为即可提升可监控性的简单缓解方法。