dair_ai· @dair_ai · X·· 4 小时前AI 评分
NVIDIA 论文分享面向智能体编码的开源中训练配方
NVIDIA 发布论文，分享面向智能体编码的开源中训练配方：保持 SFT 不变、在预训练与后训练之间新增一个中训练阶段，在 256K 上下文上用 500B token 的自然软件工程数据（打包仓库、pull request、提交历史、构建日志及少量智能体轨迹）训练。
NVIDIA 发布了一篇很棒的论文，分享了一套用于智能体编程的开放中期训练配方。
NVIDIA 保持 SFT 不变，只增加了一个中期训练阶段。在 Nemotron 3.5 Lightning 上，SWE-bench Multilingual 从 55.8 提升到了 62.8。
该阶段位于预训练和后训练之间。它在 256K 上下文长度下，使用 500B token 的自然软件工程数据进行训练，例如打包的代码仓库、pull request、提交历史和构建日志，外加一小部分智能体轨迹。
在同一模型上，SWE-bench Verified 从 60.7 提升到 64.5，SWE-bench Pro 从 32.0 提升到 35.5。在更大的 Nemotron 3.5 Super 上，DeepSWE 从 11.7 提升到 15.7。
他们还解释了如何评估这套配方。基座模型的代理指标无法预测后训练结果，因此每一项数据选择都通过简短的固定 SFT 运行来打分。
如果你在训练编程智能体，这套配方及其消融实验都已公开。
arxiv.org/abs/2610.22019
Chat with Paper: academy.dair.ai/papers/primi…
来源：dair_ai · x.com