GPU 空转高达 74%，微软研究院 SortedRL 直击 RL 训练调度瓶颈

微软研究院提出 SortedRL 在线长度感知调度系统，瞄准 LLM 强化学习训练的调度瓶颈。RL 生成阶段模型产出长度差异很大的多步推理长响应，而标准训练更新要求 batch 内所有响应都完成，短响应闲置等待最长响应，导致 GPU 在生成周期中有 70%–74% 时间空闲。该系统在不破坏 RL 训练稳定性的前提下加速训练并提升学习效率。