热点事件持续更新
NVIDIA 发布 LoGRA 优化 LLM 强化学习内存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NVIDIA 提出 LoGRA（低秩梯度草图）方法，用于 LLM 强化学习后训练的内存优化。据 2026 年 10 月 7 日报道，该方法在推理任务上平均降低训练内存最高 45.7%，且不损失性能。其做法是用低秩梯度草图压缩梯度，并通过 predicted-KL 步长控制在更新前估算策略变化幅度，以保持训练稳定。报道称，27B 参数模型可在单台 8 卡 GPU 节点稳定训练超过 1100 步，而采用稠密 Adam 的同配置会 OOM；LoGRA 代码已基于 Molt 库开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 09:17
LoGRA 代码已基于 Molt 库开源，27B 模型可在单台 8 卡节点稳定训练超 1100 步。报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- AGI HuntNVIDIA 发布 LoGRA：低秩梯度草图把 LLM 强化学习训练内存最高省 45.7%
NVIDIA 提出 LoGRA 内存优化方法，用于 LLM 强化学习后训练，在推理任务上平均降低训练内存最高 45.7% 且不损失性能。其用低秩梯度草图压缩梯度，并以 predicted-KL 步长控制在更新前估算策略变化幅度以保持稳定。27B 参数模型可在单台 8 卡 GPU 节点稳定训练超 1100 步，稠密 Adam 同配置会 OOM；代码已基于 Molt 库开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。