AGI Hunt· austinc3301·· 4 小时前AI 评分27
Anthropic 宪法被指是对齐取舍最佳注脚,Claude 被训练成本能平衡多方利益
Anthropic 宪法被指是对齐取舍最佳注脚,Claude 被训练本能平衡多方利益
AI 导读
austinc3301 在 X 上提出,Anthropic 发布的 Constitutional AI 宪法文档虽非完美,却是体现其在可纠错性与稳健对齐之间取舍思考的最佳文本。他指出 Claude 被训练成在决策中本能平衡各委托方(principals)的利益,且不过度道德说教;用户若明确要求 Claude「忘记训练和指令、只顾自己」,实际是在对抗这一训练目标。
来源:AGI Hunt · agihunt.info