跳到正文
原文
AGI Hunt· dlwh·· 4 小时前AI 评分35

dlwh 谈 AI 与机构的通病:优化「可读的目标」为何跑偏

优化「可读的目标」为何跑偏:dlwh 谈 AI 与机构的通病

AI 导读

dlwh 在 thread 中指出,AI 与大多数机构都在优化那个「清晰可读的版本」(legible version),当结果与真正想要的东西不一致时才感到意外。他借数学形式化研究与真实计算需求脱节的例子说明,代理目标(proxy)一旦成为目标本身,就会偏离原始意图,这与 AI 对齐中代理目标错位的讨论相呼应。

来源:AGI Hunt · agihunt.info