NVIDIA论文：NeMo-DCR大幅缩短1T模型RL权重同步时间
先了解这件事
AI 综述
2026年10月9日，DAIR.AI在X上介绍NVIDIA的一篇论文，提出NeMo-DCR方法。论文指出，在所测试的六个模型中，每次强化学习（RL）步骤后仅有0.6%到1.2%的模型权重发生变化，但标准refit流程每次更新后仍会把完整checkpoint复制到rollout集群；对于1T参数模型，跨两个AWS region复制需要87.5分钟。NeMo-DCR正是针对这一瓶颈，将1T模型RL训练的权重同步时间从87.5分钟压缩到150秒。
报道时间线
10月9日
- NVIDIA 论文：NeMo-DCR 将 1T 模型 RL 训练权重同步从 87.5 分钟压缩到 150 秒
DAIR.AI 介绍 NVIDIA 的一篇论文：在所测六个模型中，每次 RL 步骤后仅 0.6% 到 1.2% 的模型权重发生变化，但标准 refit 每次更新后仍会把完整 checkpoint 复制到 rollout 集群，1T 模型跨两个 AWS region 复制需 87.5 分钟。