跳到正文
原文
AGI Hunt· SergioPaniego·· 2 小时前AI 评分42

TRL AsyncGRPOTrainer 树注意力现已支持线性注意力,最高提速 3.46 倍

TRL AsyncGRPOTrainer 树注意力支持线性注意力,提速最高 3.46x

AI 导读

TRL 的 AsyncGRPOTrainer 树注意力现已支持线性注意力模型,最高加速 3.46 倍。1x H100 BF16 实测中,Qwen3.5-0.8B 在 grpo-g1-64k 加速 3.84x、agent-fork-long 4.36x,Qwen3.5-2B 最高 4.24x,部分 baseline 直接 OOM。

来源:AGI Hunt · agihunt.info