Artificial Analysis 上线 FrontierCode 1.1 编码评测榜单

我们正在发布 FrontierCode 1.1 的排行榜，这是 Cognition 的一项私密评测，测试模型完成编码任务的方式是否真能被真实开源仓库的维护者所接受并合并。

@cognition 于 2026 年 6 月发布了 FrontierCode，并在 7 月更新至 1.1 版本。Cognition 与开源维护者共同构建了该数据集，每个任务耗时超过 40 小时。每个任务都要求智能体对一个真实的开源仓库进行修改，随后既检查单元测试，也进行定性测试，以评估维护者是否会接受合并该修改。

我们运行的是 FrontierCode 1.1 Main，即该基准测试 150 个任务中的主要 100 个任务集，使用我们的 Stirrup 开源参考框架，以实现各模型之间的公平比较。所有任务均为私有，以避免数据污染。每次尝试都按阻断性标准和非阻断性标准进行评分。任何一次尝试只要未通过任一阻断性检查即得零分，若全部通过则得分在 70% 到 100% 之间。

与其他编码评测不同，FrontierCode 基于真实使用场景对成功有着更全面的评估视角。模型需要通过单元测试，但还会评估其行为，例如是否做出过多修改和产生大量差异（diff）、是否修改了相关范围之外的文件，或是否添加了无用的测试。我们认为这种方法在当前背景下很有价值：模型如今在编码任务上能力很强，但它们的修改在维护者合并之前往往仍需大量清理。

核心要点：

➤ 领先模型的失败率仍超过 40%：Claude Opus 5.5（max with fallback）以 52% 的得分位居榜首，在其尝试中有 58% 通过了阻断性检查。在我们为此次发布所评测的模型中，100 个任务里有 9 个任务在任何模型的任何一次尝试中都未能通过。

➤ 排行榜前列竞争激烈：来自六家实验室的九款模型得分在 43% 到 52% 之间。MiMo-V2.6-Pro 以 45% 成为领先的开放权重模型，紧随其后的是 DeepSeek V4.1 Flash (max) 和 Kimi K3 (max)，均为 44%。

➤ GPT-6.1 Sol (max) 的性价比最高：每个任务成本为 0.81 美元，得分为 49%，与 Claude Fable 5.1 (max with fallback) 持平。这意味着它以不到十分之一的单任务成本，达到了与 Anthropic 领先模型相当的性能。

感谢 @silasalberti、@ybenpan、@cl571128 以及 Cognition 团队的其他成员构建了 FrontierCode，并与我们合作将其引入 Artificial Analysis——我们正努力尽快将 FrontierCode 加入我们的编码智能体排行榜。