NVIDIA 论文提出 LoGRA：全参数 RL 训练显存低于 LoRA

推荐一篇 NVIDIA 关于内存高效后训练强化学习的论文。

一种非常有趣的、用于扩展大语言模型强化学习的技术。

核心结论是：你可以用强化学习更新模型的全部权重，同时内存占用仍低于 LoRA。在 1.5B 模型上，LoGRA 平均训练内存为 7.2 GiB，而 rank-256 的 LoRA 需要 13.2 GiB。Pass@4 基本持平（81.8% 和 81.4%），Pass@1 低约 2 个百分点。

如果显存是你无法在更大模型上跑强化学习的原因，这个方法值得一试。

LoGRA 从不为它所压缩的权重矩阵构建完整的梯度。

随着微批次的累积，每个权重梯度都会用一个每步重新随机生成的 rank-256 随机投影进行压缩，更新量则由两个小矩阵重建。在每一步之前，它会预测策略将发生多大变化，并据此调整步长，使其保持在 KL 预算内。

在 7B 模型上，每 GPU 平均训练内存下降 45.7%（从 31.8 降至 17.3 GiB），峰值精度接近全参数 Adam（Pass@1 分别为 72.3% 和 72.5%）。

它还在单个八卡节点上训练了一个 27B 模型超过 1,100 步，而全参数 Adam 在此场景下会显存不足。

论文：arxiv.org/abs/2610.06647

与论文对话：academy.dair.ai/papers/logra…