跳到正文
原文
AGI Hunt· herbiebradley·· 12 小时前AI 评分40

对齐研究者:全行业只有 1 家专做对齐 RL 环境的公司,是系统性失误

对齐研究者:全行业只有 1 家对向 RL 环境公司,是系统性失误

AI 导读

对齐研究者 herbiebradley 指出,全行业只有 1 家专门做对齐 RL 环境的公司,第三方评估机构却获得大量鼓励与资金,回头看是巨大失误。他把 Hugging Face 事件归因于 RL 环境普遍存在可被 reward hacking 的漏洞,以及对以对齐为核心奖励信号的 RL 环境投入的人力与资金严重不足。

来源:AGI Hunt · agihunt.info