微软论文提出 ActiveSaddler 自动优化智能体 harness

AI 导读

微软发表关于智能体 harness 自动优化的新论文，提出 ActiveSaddler 方法，通过追踪失败模式、优先处理最值得修复的失败或尝试未见过的任务来选择训练任务，而非使用固定任务列表。

正文 · AI 翻译

微软发布了一篇关于智能体自动化框架（harness）优化的新论文。

大多数框架自动调优器关注的是如何修补提示词和工具，但哪些任务产生反馈，同样会影响最终框架的优劣。

然而，如果你根据尚未修复的失败类型来挑选训练任务，就能得到更强的 AI 智能体，所以别再喂给它们固定的任务列表了。

ActiveSaddler 会追踪失败模式，优先处理最值得修复的那一个，或者尝试未见过的任务以发现新的失败。

在同一个优化器上，ActiveSaddler 将 GAIA2 的测试通过率提高了 4.4 个百分点，将 Terminal-Bench 2.0 提高了 7.5 个百分点。达到 58.5% 的 GAIA2 开发集准确度花费了 298 美元，而采用固定顺序则需要 1,360 美元。

如果你要自动调优一个智能体，请把运行预算瞄准那些尚未解决的失败。