跳到正文
原文
AGI Hunt· gowthami_s·· 4 小时前AI 评分27

组采样强化学习技巧:小 K 过滤简单题,全错组持续采样放大稀有正样本

组采样RL技巧:小K过滤简单题,全错组持续采样放大稀有正样本

AI 导读

组采样强化学习中采样组大小 K 的选择很关键:K=4 可快速过滤简单题、节省算力,而 K=32 时简单 prompt 只要 32 个回答里错 1 个就会留在批次、污染训练。论文还提出,一组全错(通常是难题)时按概率 p 持续采样直到出现正确答案,并把失败样本汇入大组,使稀有正样本的优势接近 1 而非被封顶。

来源:AGI Hunt · agihunt.info