前 OpenAI 研究员 Kokotajlo 质疑 CoT 监控性评测：若模型不拒绝篡改思维链呢

前 OpenAI 研究员 Daniel Kokotajlo 质疑一项情境感知与 CoT 可监控性论文的评测方法。该论文通过提示模型篡改 CoT、关闭推理以测试能力损失，发现模型离开推理后能力大减且通常拒绝篡改 CoT。Kokotajlo 追问如果模型不拒绝会怎样，希望看到“即使模型竭尽全力篡改 CoT 也做不到”的更强证据甚至可证明保证，并认为定性描述比边际评测数字更有信息量。