Alibaba 与 Cornell 研究编码智能体框架中的验证设计

阿里巴巴与康奈尔大学联合发表的一篇优秀论文，主题是代码智能体框架中的验证机制。

（收藏一下）

如果你在构建智能体框架，这篇论文值得一读。

他们发现，在 Terminal-Bench 上，配备独立的审查智能体可提升 5.9 至 9.5 分，而成本仅为基线的 1.13 至 1.25 倍。

他们在 Terminal-Bench 和 SWE-bench Verified 上，对七款前沿代码模型进行了 17 种验证设计的比较。这些设计会在四个环节检查智能体的工作：最初的指令、运行过程中的提醒、智能体结束任务前的关卡，以及最后由独立评论者进行审查。

指令和提醒带来的提升较小，且取决于具体模型。完成关卡带来的提升更大，但有时成本也会大幅上升。评论者带来了每美元成本下的最佳准确率，在 SWE-bench Verified 上提升 3.9 至 6.6 分，而几乎没有额外成本。增加审查轮次后，在 Terminal-Bench 上还可再提升最多 3.5 分。

arxiv.org/abs/2610.34577

与论文对话：academy.dair.ai/papers/rethi…