AGI Hunt· SergioPaniego·· 4 小时前AI 评分42
Hugging Face TRL 的 AsyncGRPO 上线 tree packing,同等奖励省 26 倍训练算力
TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力
AI 导读
Hugging Face TRL 的 AsyncGRPO 合入 tree packing,让分叉 rollout 中每个唯一 token 只前向一次。实现换成单次 FA3 varlen 调用,已在 dense、MoE、VLM 等模型上对比 sequence packing 验证,无法打包时代价约 1%。
来源:AGI Hunt · agihunt.info