Nvidia 论文：只在让测试首次通过的编辑步给基座模型打分，与后训练 SWE-bench Verified 分数相关性达 0.964

英伟达（Nvidia）的一篇新论文表明，在智能体运行的每一步都对基础模型进行评分，效果不如只对首次让测试通过的那次编辑进行评分。

后训练成本高昂，因此选对基础模型至关重要。然而，智能体基准测试给基础模型的评分接近于零，而简单的编码测试几乎无法预测其后续的智能体能力。

他们重放一个强大智能体的成功运行过程，并在每次编辑后重新运行测试，以找出首次让测试通过的那次编辑。在这个决定性的步骤中，他们测试基础模型是否倾向于该编辑、是否会将其优先于失败的编辑，以及能否写出一个能通过测试的编辑。

每个基础模型写出该确切编辑的可能性，其对10个模型的排名与这些模型后训练后的 SWE-bench Verified 分数排名一致，相关系数达 0.964。

在为智能体工作选择后训练的基础模型时，请先运行这项检查。它只需要某个基准测试中智能体的成功运行记录及其测试。