跳到正文
原文
AGI Hunt· QGallouedec·· 2 小时前AI 评分42

TRL 复现 Modal 混合精度 RL 训练:GRPO 150 步崩塌,SC+MIS 稳到 0.72

AI 导读

TRL 用 Qwen-1.5B 在 AsyncGRPO 中复现 Modal 混合精度 RL 方案:vLLM FP8 采样器配 bf16 训练器。GRPO 约 150 步后崩塌,reward 从 0.56 跌到 0.10,单加 ratio caps 或 MIS 都无效。score centering + MIS 后达 0.72,与 bf16 采样器持平。

来源:AGI Hunt · agihunt.info