SemiAnalysis_· @SemiAnalysis_ · X·· 1 天前AI 评分
NVIDIA AgentX 提交：HBM 芯片吞吐性能对比
突发新闻🚨：据 NVIDIA AgentX 的一份新提交材料，借助智能体集群编写的软件，HBM 芯片在 700B+ 巨型模型上可达到超过 1000 tok/s/user。 此外，在 Rubin NVL72 上，即使在 325 tok/s/user 的“超快”速度下，其每 TCO 性能也可比 GB300 NVL72 高 20.9 倍；在 200 tok/s/user 时，每 TCO 性能最高可高 9.11 倍。(1/2)🧵
BREAKING NEWS🚨: HBM CHIPS CAN REACH OVER 1000 tok/s/user on giant 700B+ models via agent swarm-written software, according to a new NVIDIA AgentX submission.
Furthermore, on Rubin NVL72, it can achieve 20.9x better perf per TCO than GB300 NVL72 at even "ultrafast" speeds of 325 tok/s/user and up to 9.11x better perf per TCO at 200 tok/s/user. (1/2)🧵
来源：SemiAnalysis_ · x.com