NVIDIA 发布 LoGRA：低秩梯度草图把 LLM 强化学习训练内存最高省 45.7%

NVIDIA 提出 LoGRA 内存优化方法，用于 LLM 强化学习后训练，在推理任务上平均降低训练内存最高 45.7% 且不损失性能。其用低秩梯度草图压缩梯度，并以 predicted-KL 步长控制在更新前估算策略变化幅度以保持稳定。27B 参数模型可在单台 8 卡 GPU 节点稳定训练超 1100 步，稠密 Adam 同配置会 OOM；代码已基于 Molt 库开源。