AGI Hunt· joshua_saxe·· 3 小时前AI 评分35
Joshua Saxe:对齐研究为何停滞——缺少 MNIST 式可攀爬的「能力山头」
对齐为何停滞:研究者指其缺少 MNIST 式可攀爬的能力山头
AI 导读
Joshua Saxe 提出,对齐与可解释性研究迟迟难有进展,根本原因是问题没有被良好定义、缺少真正的科学基础设施。ML 领域从 MNIST、ImageNet 到 HellaSwag 有一系列清晰的「能力山头」,让互不相识、彼此竞争的研究者成果可比可读;对齐领域没有任何类似基准,做起来像原地踏步甚至下沉。转推者补充,古德哈特定律固然难缠,更糟的是根本没有目标可优化。
来源:AGI Hunt · agihunt.info