CMU 等机构论文提出基础模型统一训练方法

强烈推荐这篇来自 CMU 等机构的研究，探讨基础模型是如何训练的。

它从根本层面追问：预训练、中期训练、SFT 和 RL 是否真的需要作为彼此独立的阶段。

他们证明，这种阶段分离并非根本性的。

所有这些阶段都可以在同一种基于似然的算法下运行，他们称之为“统一训练”。

关键一步是将合适的 RL 目标视为对模型生成目标的最大似然拟合。这样，RL 生成内容与静态数据便共享同一个损失函数和同一个训练器。

这改变了设计问题的本质。现在，你需要选择用哪些数据训练、各占多大比例，以及何时使用。分阶段训练则成为其中一种特殊情况。

他们首先从零开始，用推理谜题训练了一个 124M 模型。效果最好的统一训练实验在 RL 任务上胜过分阶段训练，在模型从未见过的更大谜题上也同样胜出。

这些训练实验最多重复使用了 4 次中期训练语料。当中期训练超过其最佳预算后，分阶段训练的准确率会下降。

在固定计算预算下，统一训练在最小和最大预算时准确率最佳，分阶段训练则在中等预算下领先。

现实场景测试使用了一个 0.76B 模型进行数学 RL，并混入 0% 到 5% 的中期训练数据。数学准确率保持相近，而知识留存有所提升；随着混合比例增加，编程准确率下降。

持续学习实验给出了最清晰的结果。经过数学训练后，所有统一训练模型的最终编程准确率都超过了分阶段训练，尽管它们起初的水平更低。其中，混入 5% 中期训练数据的效果最佳。

这些实验均为小规模实验。作者尚未找到一种能够在所有情况下都达到最佳效果的混合比例或训练安排。

arxiv.org/abs/2610.40564

Chat with Paper: academy.dair.ai/papers/train…