SemiAnalysis_· @SemiAnalysis_ · X·· 1 天前AI 评分
GB300 NVL72 铜背板扩展至72卡
通过极致协同设计,GB300 NVL72 采用创新铜背板,将 scale-up 域从 Hopper 的 8 扩展到 72。这使得宽专家并行等优化成为可能,每个 GPU 只需持有部分专家子集,从而实现: 🟠 权重加载压力大幅降低 🟠 通过权重在多 token 间复用,算术强度大幅提升 (2/3)
通过极致的协同设计,GB300 NVL72 采用创新的铜背板,将扩展域规模从 Hopper 的 8 提升到 72。这使得宽专家并行等优化成为可能——每个 GPU 只需持有专家的一个子集,从而带来:
🟠 权重加载压力大幅降低
🟠 通过权重在大量 token 间的复用,算术强度大幅提升 (2/3)
来源:SemiAnalysis_ · x.com