Nvidia论文：仅对关键编辑步打分可高相关预测SWE-bench成绩
先了解这件事
AI 综述
2026年10月12日，Nvidia 发布新论文，研究如何为基座模型在 agent 运行中的表现打分。论文指出，在 agent 运行的每一步都给基座模型打分，效果不如只在首次让测试通过的那次编辑上打分。研究者重放强 agent 的成功运行，在每次编辑后重跑测试以定位关键步，再检验基座模型是否偏好该编辑、能否写出通过测试的编辑。结果显示，10 个模型写出该编辑的概率排序，与其后训练 SWE-bench Verified 分数的相关性达 0.964。该发现由 Rohan Paul 在 X 平台分享。
报道时间线
10月12日
- Nvidia 论文：只在让测试首次通过的编辑步给基座模型打分，与后训练 SWE-bench Verified 分数相关性达 0.964
Nvidia 新论文指出，在 agent 运行的每一步都给基座模型打分，效果不如只在首次让测试通过的那次编辑上打分。研究者重放强 agent 的成功运行，每次编辑后重跑测试以定位关键步，再检验基座模型是否偏好该编辑、能否写出通过测试的编辑；10 个模型写出该编辑的概率排序与其后训练 SWE-bench Verified 分数相关性达 0.964。