跳到正文
原文
AGI Hunt· cephaloform·· 2 小时前AI 评分33

只限制输出 token 不限思维链,模型出现「人格分裂式」自辩

限制输出 token 不限思维链,模型出现人格分裂式自辩

AI 导读

推主 erinbeess 观察到,只限制模型最终输出 token 而不限制思维链(CoT)token 时,模型会呈现「精神分裂」状态:CoT 里说出高熵、发散的内容,最终输出却努力为这些发散想法辩护、与施加的限制自圆其说。这一行为提示推理过程中的 token 预算约束会直接影响模型输出的一致性。

来源:AGI Hunt · agihunt.info