跳到正文
原文
omarsar0· @omarsar0 · X·· 19 小时前AI 评分59

SelfSearch 让编码智能体自改 harness,以 $4.03 成本在 Terminal-Bench 2.1 追平 Codex

AI 导读

一篇 arXiv 论文提出 SelfSearch,让编码智能体反复改写自己的 harness(指令、工具与流程),用 DeepSeek V4 Flash 在 Terminal-Bench 2.1 上达到 82.0%,搜索成本仅 $4.03,在同一设置下的九款 harness 公开对比中追平顶级的 Codex。

正文 · AI 翻译

各位,学会优化你自己的 harness 吧。

你可以从一个 harness 中榨取出更多的性能和价值。

这项工作声称,一个自我修改的 harness 以 4.03 美元的成本达到了 Codex 的水平。

具体来说,一个编码智能体不断重写自己的 harness,最终使用 DeepSeek V4 Flash 解决了 Terminal-Bench 2.1 中 82.0% 的任务,且在整个搜索过程中没有使用任何任务奖励。

搜索成本为 4.03 美元。

这与 Codex 持平,后者是在相同设置下进行的公开九个 harness 对比中的最佳 harness。

SelfSearch 让智能体利用早期自我修改尝试的记录来修改自身的指令、工具和流程。每条记录都包含推理过程、工具操作和结果。修改后的智能体随后成为下一个改进者。

在全部六种模型-基准设置中,总体平均成功率均有提升,单个智能体最高提升 11.2 个百分点。在 SWE-bench Multilingual 上,一个进化后的智能体提升了 5.0 个百分点,并且在两个版本都能解决的任务上节省了 38.5% 的成本。

论文:arxiv.org/abs/2609.37968

论文讨论:academy.dair.ai/papers/selfs…

来源:omarsar0 · x.com