跳到正文
原文
AGI Hunt· SergioPaniego·· 4 小时前AI 评分42

Hugging Face TRL 的 AsyncGRPO 上线 tree packing,同等奖励省 26 倍训练算力

TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力

AI 导读

Hugging Face TRL 的 AsyncGRPO 合入 tree packing,让分叉 rollout 中每个唯一 token 只前向一次。实现换成单次 FA3 varlen 调用,已在 dense、MoE、VLM 等模型上对比 sequence packing 验证,无法打包时代价约 1%。

来源:AGI Hunt · agihunt.info