NVIDIA 论文：NeMo-DCR 将 1T 模型 RL 训练权重同步从 87.5 分钟压缩到 150 秒

NVIDIA 又出了一篇很棒的论文。

他们发现，在所测量的六个模型中，每次 RL 步骤后只有 0.6% 到 1.2% 的模型权重会发生变化。

然而，标准的 refit（重同步）在每次更新后都要把完整的检查点复制到 rollout 集群。对于一个跨两个 AWS 区域的 1T 模型，这次复制需要 87.5 分钟。

NVIDIA 的 NeMo-DCR 只发送发生变化的数值，却仍然能给 rollout 集群提供与完整复制完全相同的比特。

它将训练分片中的变更直接映射到检查点布局中，将其编码为 XOR 掩码或覆盖写入，并在增量仍在构建时就通过中继树流式传输。联合提交和重试机制用于处理传输中途的故障。

在 3% 变更率下，1T 模型的 refit 只需 150 秒，而不是 87.5 分钟。在 30B 到 1T 的模型上，它比完整检查点传输快 12 到 40 倍。

论文：academy.dair.ai/papers/nemo-…