跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 3 天前精选AI 评分78

Kimi K3.1 Pro 发布,Artificial Analysis Intelligence Index 得分 55 排名第四

AI 导读

Kimi K3.1 Pro 发布后在 Artificial Analysis Intelligence Index 得分 55,排名第四,仅落后 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。

推荐理由

文章给出 Kimi K3.1 Pro 的多项基准成绩、成本与参数信息,并对比 Kimi K3 和闭源模型,便于评估其智能体能力与开放权重后的竞争位置。

正文 · AI 翻译

Kimi K3.1 Pro 首发即在 Artificial Analysis Intelligence Index 上排名第四,得分 55,在智能体性能方面取得大幅提升;权重发布后,它将成为领先的开放权重模型。

@Kimi_Moonshot 的新推理模型比 Kimi K3(max,44)高出 11 分。在 Intelligence Index 上,仅次于 Claude Opus 5.5(max with fallback,58)、Claude Sonnet 5.5(max with fallback,56)和 Muse Wonder Full(max,56)。

K3.1 Pro 的权重发布后,它将成为得分最高的开放权重模型,Intelligence Index 上领先的开放权重模型与专有模型之间的差距将从 12 分缩小到 3 分。

主要结果:

➤ 智能体性能大幅提升:Kimi K3.1 Pro 在 GDPval-AA 上以 1,846 Elo 排名第三,比 Kimi K3 高出 312 Elo,仅次于 Claude Opus 5.5(1,866 Elo)和 Muse Wonder Full(1,857 Elo)。Kimi K3.1 Pro 还取得了所有模型中 Terminal-Bench 4.0 的最高分。K3.1 Pro 得分 67%,高于 Kimi K3 的 13%,也领先于 Claude Sonnet 5.5(64%)。用于测试智能体式 SaaS 工作流的 AutomationBench-AA 从 58% 提升至 73%。

➤ 其他评测的提升较为温和:Humanity's Last Exam 从 47% 升至 52%,CritPt 从 23% 升至 25%,SciCode 从 59% 升至 61%。AA-Omniscience Index 从 20 升至 30,同时幻觉率从 53% 降至 44%,准确率从 48% 升至 51%。

➤ 每项任务成本与 Kimi K3 大致相当,为每项任务 1.98 美元:K3.1 Pro 在 Intelligence Index 的每项任务中使用 55K 输出 token,比 Kimi K3 的 48K 多 14%,而其第一方 token 价格低 33%。

其他模型详情:

➤ 上下文窗口:1M token。

➤ 规模:总计 2.8T 参数,激活参数 104B

➤ 输入模态:文本和图像

➤ 权重与许可证:权重目前尚未发布,预计 Moonshot 会在发布后不久公开权重

➤ 价格:每 1M 输入/输出/缓存命中 token 分别为 2 美元/10 美元/0.20 美元,三档价格均比 Kimi K3 低 33%。

恭喜 @Kimi_Moonshot 团队推出这款模型!

来源:ArtificialAnlys · x.com