Artificial Analysis 将 DeepSeek V4.1 Flash 纳入 AA-AgentPerf 基准并公布 NVIDIA 与 AMD 硬件结果

我们已将 DeepSeek V4.1 Flash 加入 AA-AgentPerf，并给出了 NVIDIA 和 AMD 硬件上的结果。在每用户 100 tokens/s 的条件下，NVIDIA GB300 位居第一，吞吐量最高可达每兆瓦 261M tokens/s。

AA-AgentPerf 是我们的智能体推理性能基准。它回放真实的智能体编程会话，包括提示词缓存和工具调用延迟，从而对日常智能体工作负载中的推理性能给出贴近实际的衡量。我们测量每兆瓦运行功耗下的系统总吞吐量，以及不同并发水平下每个智能体的输出速度，以展示系统利用率与单个用户体验之间的权衡。

DeepSeek V4.1 Flash 今日加入排行榜。这使上榜的精选模型增至四个，与 DeepSeek V4 Pro 0813、Kimi K3 和 GLM-5.2/5.3 并列。随着热门的新开源权重模型发布，我们会不断更新精选模型，并将在未来重大发布时提供 day-0 结果。

关于 DeepSeek v4.1 Flash 的背景：

➤ 它在 Artificial Analysis Intelligence Index 上得分 39，高于 DeepSeek 此前的 V4 Pro 0813（36 分），而参数量约为后者的三分之一（552B「骨干」参数、16B 激活参数，对比 1.6T 和 49B）

➤ 它基于全新架构构建，采用因果编码器-解码器设计，每个输入 token 激活 8B 参数、每个输出 token 激活 16B 参数。它还使用了额外的 196B 参数 Engram n-gram 记忆，可置于主机内存而非加速器上，并采用压缩稀疏注意力，每 token 所需的 KV 缓存约为此前 V4 Flash 模型的四分之一

➤ 这使其服务效率大幅提升，因为权重可以装入更少的 GPU，而更小的 KV 缓存为每块 GPU 上更多并发智能体留出了空间

DeepSeek V4.1 Flash 的 AA-AgentPerf 初步结果：

➤ V4.1 Flash 最少只需 2 块 GPU 即可运行，因此机架级系统相对于 B300 这类 8 卡单节点的优势变小；B300 在整个曲线上与机架级 GB300 NVL72 的差距保持在约 20% 以内，并在两端均领先

➤ 在每用户 100 tok/s 时，GB300 以约 261M tokens/s 每兆瓦领先，其后是 B300（约 220M）、B200（约 193M）、GB200（约 178M）和 MI355X（约 128M）

➤ 所有 Blackwell 系统和 MI355X 都能让单个智能体（即批大小为 1 时）达到约 600 至 670 tok/s 的输出速度，而 H100 和 H200 为 372 至 392 tok/s

➤ V4.1 Flash 既比 V4 Pro 0813 更智能，服务成本也低得多：在每用户 100 tok/s 条件下，其每兆瓦吞吐量达到更大的同类模型的约 1.3 倍（GB300）到约 6.2 倍（B200）