dair_ai· @dair_ai · X·· 5 小时前AI 评分
Behavioral Self-Rewarding 提升 SWE agent 训练效果
Penn State 与 Microsoft Research 提出 Behavioral Self-Rewarding，让 SWE agent 对自身轨迹两两比较生成有界偏好奖励，叠加在测试结果之上，解决二元测试奖励在整组全过或全挂时无对比度的问题。
// SWE 智能体的行为自我奖励 //
用二元测试奖励来训练 SWE 智能体是标准做法。
这篇论文揭示了其中的问题：当一组中的每条轨迹都通过测试，或全都失败时，奖励就没有了对比度，这一组也就学不到任何东西。
宾夕法尼亚州立大学和微软研究院的研究者提出了「行为自我奖励」（Behavioral Self-Rewarding）。策略会将自己的轨迹两两配对进行比较，这些偏好会转化为小幅的有界奖励，叠加在测试结果之上。
这些附加奖励是有界的，因此自我评判的偏好可以对两条都通过的轨迹进行排序，但绝不可能把一条失败的轨迹抬到通过的轨迹之上。
无需新的环境交互。在 SWE-bench Verified 上，Qwen3-14B 在 400 步预算下平均准确率从 32.1% 提升到 34.7%；在 SWE-bench-Live 上则从 6.33% 提升到 8.11%。
arxiv.org/abs/2610.12598
Chat with Paper: academy.dair.ai/papers/beyon…
来源：dair_ai · x.com