清华与 Microsoft 论文提出 HarnessMM，用检查机制减少智能体 LLM 调用

AI 导读

清华与 Microsoft 的论文提出 HarnessMM，让模型预先写出后续命令及检查条件，条件通过时直接执行并跳过 LLM 调用。在 98 个 HumanEval 任务上，Codex 保持 90.82% 成功率，同时 token 消耗比普通 Codex 减少 29.54%；DeepSeek Harness 成功率从 71.43% 升至 85.71%，token 消耗比原版减少 87.93%。

正文 · AI 翻译

清华大学与微软最新论文发现，在 98 项 HumanEval 任务中，DeepSeek Harness 使用的 token 比原版少了 87.93%，而成功率从 71.43% 提升至 85.71%。

Codex 和 DeepSeek Harness 等智能体工具会在每次工具返回结果后调用大语言模型，以决定下一步做什么。很多时候，下一步其实早已确定，比如代码编译通过后运行测试。

HarnessMM 让模型预先写出后续命令及其精确参数，并为每条命令设置一项检查，例如构建是否成功。当工具返回结果通过检查时，智能体便执行该命令，并跳过对大语言模型的调用。

在 98 项 HumanEval 任务中，Codex 在保持 90.82% 成功率的同时，使用的 token 比普通 Codex 少了 29.54%。DeepSeek Harness 的成功率从 71.43% 提升至 85.71%，使用的 token 比原版少了 87.93%。

如果你的智能体会执行“编写、构建、测试”这类可预测的流程链，可以让模型一次性规划好这些步骤并设置通过检查，而不必每一步都重新询问模型。