AGI Hunt· nptacek·· 3 小时前AI 评分39
Yudkowsky 吐槽可解释性研究:找到「埃菲尔铁塔神经元」离对齐还远
AI 导读
MIRI 的 Yudkowsky 认为真正对齐需能细致预测模型思维,SFT/RL 这类外部施压只是权宜之计,机械可解释性本该是通往这一目标的起点。他讽刺研究者为「发现模型想到埃菲尔铁塔时被激活的神经元」而兴奋,称业界满足于这类发现将永远不会朝积极方向更新。nptacek 转发附和,折射出对齐保守派与可解释性研究群体的长期路线分歧。
来源:AGI Hunt · agihunt.info