Artificial Analysis Intelligence Index v5 加入两项新基准并升级三项评测

宣布推出 Artificial Analysis Intelligence Index v5，新增 2 项基准测试并进行 3 项升级。这是该指数首次以私有数据集作为主要组成部分。

Artificial Analysis Intelligence Index 是我们用于衡量模型在各项任务中能力的综合指标，所选任务反映了当今的现实使用场景。v5 是自 v4 于今年 1 月发布以来最大的一次升级。升级后，指数中 60% 的部分基于使用私有测试集或保留答案的评估。

在推出 Intelligence Index v5 的同时，我们还发布了 Artificial Analysis Progress Index v1，用于在同一个连续量表上追踪模型能力随时间的变化。

Intelligence Index 的新增内容：

➤ FrontierCode 2.0：Cognition 全新推出的私有基准测试，采用现实编程任务，并根据代码仓库维护者是否会合并智能体的代码更改来评分

➤ Terminal-Bench-Science：70 项智能体科学研究任务，在终端环境中运行

升级内容：

➤ HLE-Diamond（取代 Humanity's Last Exam）：对 Humanity's Last Exam 进行了优化，包含 1,000 道题目，推理题与知识题各占一半

➤ AA-Omniscience v1.1：更新后的数据集，移除了已饱和题目和公开集题目，新增了题目，并修订了存在歧义或错误的题目

➤ CritPt v2：CritPt v2 的一个私有困难子集，共 40 道题，由 CritPt 作者修订，并配备代码执行工具运行

保留在指数中的项目：AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0

从指数中移除的项目：GDPval-AA v2.1、SciCode 和 AA-LCR v1.1

主要结果：

➤ Claude Opus 5.5（max）以 58 分领先，排在 GPT-6 Astra（max，57 分）和 GPT-6.1 Sol（max，55 分）之前：Anthropic 和 OpenAI 占据前五名。Gemini 4 Argon（high）以 50 分紧随其后

➤ 开放权重模型与领先模型的差距从 3 分扩大到 12 分：Kimi K3.1 Pro（权重尚未发布）以 46 分成为得分最高的开放权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先——比榜首低 26 分，也低于 Claude Haiku 5.5（max，36 分）

➤ 领先模型之间的每项任务成本相差超过 13 倍：在所展示的得分最高的 10 个模型中，GPT-6.1 Terra（max）的成本最低，每项 Intelligence Index 任务为 0.96 美元；Claude Fable 5.1（max）的成本最高，为 13.04 美元