Artificial Analysis 发布 Coding Agent Index v2.0，Claude Opus 5.5 搭配 Claude Code 以 61.7 分领先

宣布推出 Artificial Analysis Coding Agent Index v2.0：Cognition 的 FrontierCode v1.1 取代 DeepSWE，SWE-Atlas-QnA 的评分方式经过修订，Claude Code 中的 Claude Opus 5.5 以 61.7 分领先

今天，我们推出 Coding Agent Index v2.0。该指数将模型与其智能体框架（agent harness）作为一个整体进行评估，现已涵盖 290 项任务，涉及软件工程、终端使用和代码仓库问答，三项基准的权重相等。

更新日志（Index v1.5 → Index v2.0）：

→ FrontierCode v1.1 取代 DeepSWE v1.1。FrontierCode 是 @cognition 推出的一项基准测试，采用私有测试集：包含来自真实开源代码仓库的 100 项软件工程任务，评分依据是维护者是否会合并相应改动。任何未通过阻断性检查的尝试均得零分；通过全部阻断性检查的尝试，则根据其满足的非阻断性检查情况，得分在 70% 至 100% 之间。我们还会使用经过修改的 Cognition 基于规则的扫描器检查每条执行轨迹，任何被标记为访问了解题材料的尝试均得零分。

→ 修订 SWE-Atlas-QnA 的评分方式，现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 项代码仓库问答任务保持不变。我们重新措辞了 1,306 条评分标准中的 127 条，以使判定更加一致，并将评判模型改为 GPT-6 Luna (xhigh)，每条标准采用五票投票。数据集和评判模型配置已发布在 Hugging Face 上。

主要结果：

➤ Claude Opus 5.5 在该指数中领先：Claude Code 搭配 Claude Opus 5.5 (max) 得分 61.7，其次是 Claude Code 搭配 Claude Sonnet 5.5 (max)，得分 59.3；Muse Code 搭配 Muse Wonder Full (max) 得分 58.9；Claude Code 搭配 Claude Fable 5.1 (max with fallback) 得分 57.6。

➤ FrontierCode v1.1 是 Opus 5.5 拉开差距的环节：Opus 5.5 在 FrontierCode 上得分 56.0%，领先于 Codex 搭配 DeepSeek V4.1 Flash (max) 的 52.6%、Codex 搭配 GPT-6.1 Sol (max) 的 49.4%，以及 Codex 搭配 GPT-6 Astra (max) 的 49.3%。排名靠后的各配置在 FrontierCode 上分数十分接近：该指数中的 24 种配置里，有 15 种的得分介于 43% 至 49% 之间。

➤ SWE-Atlas-QnA-AA 的评分更为严格，也更加一致：在两个指数版本中均接受评估的 21 种配置中，平均分下降了 1.7 个百分点，从 58.8% 降至 57.1%，其中 21 种配置里有 14 种得分下降。单个配置的变动幅度最高达 7 个百分点：Muse Code 搭配 Muse Spark Open (xhigh) 下降 7.0，Kimi Code CLI 中的 Kimi K3 以及 Codex 搭配 GPT-6 Luna (max) 下降 6.2，Muse Code 搭配 Muse Wonder (max) 下降 5.6；而 Codex 搭配 GPT-6.1 Sol (max) 则上升 2.1。

➤ 有四种配置处于成本前沿：Codex 搭配 DeepSeek V4.1 Flash (max) 得分 47.3，每项任务成本 0.39 美元；Codex 搭配 GPT-6.1 Sol (max) 得分 54.1，每项任务 1.50 美元；Codex 搭配 GPT-6 Astra (max) 得分 54.7，每项任务 7.04 美元；Claude Code 搭配 Claude Opus 5.5 (max) 得分 61.7，每项任务 11.42 美元。这些成本是按 token 计费的 API 成本，而非订阅价格。

我们将继续以增量方式更新 Coding Agent Index，未来还会加入更多评估和智能体。