ServiceNow 与 McGill 论文：AI 评审在长程计算机操作任务中仍漏判细微错误

AI 导读

ServiceNow 与 McGill 的新论文指出，用 LLM 评审 agent 运行时，长任务中的细微错误仍易被漏判，为其添加工具也未必有帮助。研究构建了 AgentHorizon，包含 1,373 项评审任务，数据来自人工屏幕录制的近似任务对并互换指令，使每次失败都对应一个略有差异请求的干净成功运行。

正文 · AI 翻译

ServiceNow 和麦吉尔大学的新论文发现，AI 评审在长篇计算机操作任务中仍会漏掉细微错误，而且给它们提供工具并不能可靠地改善这一点。

团队使用大语言模型来评判智能体的运行过程，用于训练和评估。一个超过 100 步的运行可能看起来已经完成，但实际上画错了图形或发到了错误的 Slack 频道。

他们构建了 AgentHorizon，包含 1,373 个评判任务，均来自人工屏幕录制。人们录制了成对的几乎相同的任务并互换指令，因此每个失败案例都是一次针对略有不同请求的干净运行。

表现最好的评审是 Codex 中的 GPT-5.5，在困难子集上平衡准确率为 80.9%，而全答“是”只能得 50%。Qwen 3.6 27B 在使用工具时表现更差：直接读取整个运行为 77.6%，作为智能体运行时为 70.4%。

在信任大语言模型评审来评判智能体运行之前，请在你实际要使用的智能体环境中，用近似失败案例对其进行测试。