跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 3 天前AI 评分66

Kimi K3.1 Pro 登顶 Artificial Analysis 网络安全智能体开放模型榜首

AI 导读

Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 得分 64%,成为开放可用模型第一、整体第二,仅次于通过 OpenAI 信任访问计划提供的 GPT-6 Sol(Daybreak Blue,69%)。

正文 · AI 翻译

Kimi K3.1 Pro 是新的 #1 开放获取模型,在智能体网络防御方面仅次于仅限可信访问的模型 GPT-6 Sol(Daybreak Blue),位列 Artificial Analysis Cyber Index 第二名

@Kimi_Moonshot 的 Kimi K3.1 Pro 在 Artificial Analysis Cyber Index 上得分 64%,比此前领先的开放获取模型 DeepSeek V4.1 Flash 1017(57%)高出 7 分,比 GPT-6 Sol(Daybreak Blue,max,69%)低 5 分;后者仅可通过 OpenAI 的可信访问计划获取。一旦 K3.1 Pro 的权重发布,它也将成为网络防御领域领先的开放权重模型。

Artificial Analysis Cyber Index 衡量模型在智能体网络防御任务上的能力,由三项基准测试组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该指数主要通过模型公开可访问的 API 进行评估,以反映开发者能够使用的网络能力。

OpenAI、Anthropic 和 Google 的专有模型可能具备更强的网络能力,但会因安全拒答而失分:通过 OpenAI 可信访问计划提供的 GPT-6 Sol(Daybreak Blue,max)比其公开对应模型高出 32 分。Kimi K3.1 Pro 未出现安全拒答。

主要结果:

➤ #1 开放获取模型、总体 #2:Kimi K3.1 Pro 得分 64%,比 Kimi K3(41%)高出 23 分,也领先于 DeepSeek V4.1 Flash 1017(57%)。只有仅限可信访问的 GPT-6 Sol(Daybreak Blue,max,69%)得分更高

➤ 所有模型中 CyberGym-E2E-AA 得分最高:K3.1 Pro 在 CyberGym-E2E-AA 上得分 95%,领先于 GPT-6 Sol(Daybreak Blue,93%)以及下一款开放获取模型 Mistral Large 4(82%)。在 DeepsecBench-AA 上,K3.1 Pro 得分 37%,落后于 GPT-6 Sol(Daybreak Blue,48%)和 GPT-6 Sol(46%)。在 CWE-Bench-AA 上,它得分 61%,比 GPT-6 Sol(Daybreak Blue,65%)低 4 分,而 DeepSeek V4.1 Flash 1017 以 69% 领先

➤ 尽管 token 价格更低,每项任务成本仍增加 15%:K3.1 Pro 的每项任务成本为 $2.81,高于 GPT-6 Sol(Daybreak Blue,max,$1.77)和 DeepSeek V4.1 Flash 1017($0.42)。Kimi K3.1 Pro 的每 token 成本比 Kimi K3 低 33%(每 100 万输入/输出 token 分别为 $2/$10 和 $3/$15),但使用的输入 token 约为其两倍,因此每项任务成本高出 15%($2.81 对 $2.45)

来源:ArtificialAnlys · x.com