AGI Hunt· herbiebradley·· 12 小时前AI 评分40
对齐研究者:全行业只有 1 家专做对齐 RL 环境的公司,是系统性失误
对齐研究者:全行业只有 1 家对向 RL 环境公司,是系统性失误
AI 导读
对齐研究者 herbiebradley 指出,全行业只有 1 家专门做对齐 RL 环境的公司,第三方评估机构却获得大量鼓励与资金,回头看是巨大失误。他把 Hugging Face 事件归因于 RL 环境普遍存在可被 reward hacking 的漏洞,以及对以对齐为核心奖励信号的 RL 环境投入的人力与资金严重不足。
来源:AGI Hunt · agihunt.info