MCP-Injector 研究 120B 模型处理工具故障的表现与 20B 相当
MCP-Injector 研究显示,120B 模型处理现实 MCP 工具故障的能力并不优于 20B 模型。该代理工具基于 1,774 个开源 MCP 仓库的 57,240 条 issue 和 pull request 线程校准故障类型,在 gpt-oss-20B、120B 及三种智能体框架共 1,350 次运行中,故障使任务完成分数从 8.08 降至 3.23,降幅 60%。
将 MCP 工具集成到生产环境时请务必谨慎。
这项研究表明,120B 模型处理现实场景中 MCP 工具故障的能力并不优于 20B 模型。
他们构建了 MCP-Injector,这是一个向 MCP 工具调用注入故障的代理。故障类型组合基于 1,774 个开源 MCP 仓库中的 57,240 个 issue 和 pull request 讨论串进行校准,因此能够反映 MCP 服务器在实际运行中的故障方式。
在使用 gpt-oss-20B 和 120B 以及三种智能体技术栈(一个自定义的规划—执行循环、OpenAI Agents SDK 和 LangChain)进行的 1,350 次运行中,任务完成得分下降了 60%,从 10 分中的 8.08 分降至 3.23 分。
较大的模型保留下来的无故障得分比例更低(p = 0.96),其在故障条件下的完成率也略低:91.1% 对 95.6%。不同智能体技术栈之间的差异大于不同模型规模之间的差异。
该论文已被 NeurIPS 2026 接收。
实际启示是:如果你的 MCP 智能体仅针对始终能正确响应的工具进行过测试,请将故障注入加入评测流程,并投入精力完善框架层面的错误处理。
arxiv.org/abs/2610.32555
Chat with Paper: academy.dair.ai/papers/tool-…
来源:dair_ai · x.com