NVIDIA 提出 LoGRA:全参数 RL 训练显存低于 LoRA
先了解这件事
AI 综述
2026年10月13日,DAIR.AI 在 X 平台推荐 NVIDIA 一篇关于显存高效后训练强化学习的论文,提出新方法 LoGRA。该论文核心结论是:在用 RL 更新模型全部权重时,显存占用仍低于 LoRA。在 1.5B 模型上的实验显示,LoGRA 平均训练显存为 7.2 GiB,而 rank-256 LoRA 需要 13.2 GiB;两者 Pass@4 分别为 81.8% 和 81.4%,LoGRA 的 Pass@1 低约 2 个百分点。目前该消息处于论文发布与社区推荐阶段,尚未见后续进展报道。
报道时间线
10月13日
- NVIDIA 论文提出 LoGRA:全参数 RL 训练显存低于 LoRA
DAIR.AI 推荐 NVIDIA 关于显存高效后训练 RL 的论文 LoGRA,其核心结论是用 RL 更新模型全部权重时显存仍低于 LoRA。1.5B 模型上 LoGRA 平均训练显存 7.2 GiB,rank-256 LoRA 需 13.2 GiB,Pass@4 分别为 81.8% 和 81.4%,Pass@1 低约 2 个点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。