SemiAnalysis_· @SemiAnalysis_ · X·· 1 天前AI 评分
NVIDIA AgentX 提交：HBM 芯片吞吐性能对比
突发新闻🚨：据 NVIDIA AgentX 的一份新提交材料，借助智能体集群编写的软件，HBM 芯片在 700B+ 巨型模型上可达到超过 1000 tok/s/user。 此外，在 Rubin NVL72 上，即使在 325 tok/s/user 的“超快”速度下，其每 TCO 性能也可比 GB300 NVL72 高 20.9 倍；在 200 tok/s/user 时，每 TCO 性能最高可高 9.11 倍。(1/2)🧵
突发新闻🚨：据 NVIDIA AgentX 最新提交的一份文件称，借助由智能体集群编写的软件，HBM 芯片在 700B 以上的大型模型上可达到超过 1000 tok/s/用户。
此外，在 Rubin NVL72 上，即使在 325 tok/s/用户的“超高速”状态下，其每 TCO 性能也可达到 GB300 NVL72 的 20.9 倍；在 200 tok/s/用户时，每 TCO 性能最高可提升 9.11 倍。（1/2）🧵
来源：SemiAnalysis_ · x.com