跳到正文
原文
AGI Hunt· joshua_saxe·· 3 小时前AI 评分35

Joshua Saxe:对齐研究为何停滞——缺少 MNIST 式可攀爬的「能力山头」

对齐为何停滞:研究者指其缺少 MNIST 式可攀爬的能力山头

AI 导读

Joshua Saxe 提出,对齐与可解释性研究迟迟难有进展,根本原因是问题没有被良好定义、缺少真正的科学基础设施。ML 领域从 MNIST、ImageNet 到 HellaSwag 有一系列清晰的「能力山头」,让互不相识、彼此竞争的研究者成果可比可读;对齐领域没有任何类似基准,做起来像原地踏步甚至下沉。转推者补充,古德哈特定律固然难缠,更糟的是根本没有目标可优化。

来源:AGI Hunt · agihunt.info