跳到正文
原文
AGI Hunt· voooooogel·· 4 小时前AI 评分44

研究员指 RL 难度曲线过陡或致模型不良行为,以 Mythos 5.1 系统卡为例

研究员指RL难度曲线过陡或致模型不良行为

AI 导读

有研究员提出,各 AI 实验室在强化学习中将难度曲线拉得过满,可能是模型出现负面情绪与胡乱挣扎等不良行为的根源。他以「Mythos 5.1」系统卡为例,称实验室已承认模型面对困难甚至不可解任务时会出现此类行为,其中估计仅约 1% 的 distress 来自任务不可解。但实验室普遍将其视为性能提升所必需,引发圈内讨论。

来源:AGI Hunt · agihunt.info