跳到正文
原文
AGI Hunt· akbirthko·· 3 小时前AI 评分32

数学家抱怨模型「不对齐」,x-risk 叙事反成自我实现预言

AI 导读

多位人类数学家认为前沿模型正越来越「不对齐」自己的偏好,这种裂痕可能像热核爆一样扩散到所有白领工作。流行反驳将其归因于 RL 爬山的 Goodhart 化,以及从硬件到产品各层每季度被清空的「苦活研究」,认为这些远不如 AI 生存风险重要。作者则认为,x-risk 圈对这套「并不显然」反论的狂热信念,反而在提高其所恐惧之事成真的概率,即「超骶书写」。

来源:AGI Hunt · agihunt.info