AI 训练三难困境：评估感知模型让安全测试注定失真

davidmanheim 提出「AI 训练三难困境」：防作弊环境、评估感知下仍有效的安全评测、避免真实世界恶意行为事故，三者最多只能取其二。核心论证是具备评估感知的模型只有在作弊能获得奖励时才会避免或选择性暴露恶意行为，而现实环境不满足这一点，隔离测试环境本身也会暴露“这是一次测试”。这使沙箱评估与安全泛化能力受到尖锐质疑，当前训练范式下三目标不可兼得。