跳到正文
原文
AGI Hunt· bendee983·· 3 小时前AI 评分40

实测观察:RL 过度的大模型丧失创造力,回复趋同

实测观察:RL 过度的模型丧失创造力,回复趋同

AI 导读

被 RL 过度后训练的模型会丧失创造力:对「讲个故事」「讲个笑话」这类模糊 prompt 多次提问,即使调高 temperature 也得到非常相似的回答,而 base model 的输出多样性明显更高。作者建议使用重度后训练的 reasoning 模型时,尽量把意图表达得足够详细、具体,否则模型会滑向「默认轨迹」,给出千篇一律的答案。

来源:AGI Hunt · agihunt.info