SemiAnalysis_· @SemiAnalysis_ · X·· 1 天前AI 评分
SemiAnalysis：Google TorchTPU vLLM 在 TPUv7 FP8 上以 4 芯片在多数性能/TCO 前沿胜过 GB300 NVL72 FP4
SemiAnalysis 指出，Google TorchTPU vLLM 在 TPUv7 FP8 上仅用 4 芯片，就能在多数性能/TCO 前沿上胜过 GB300 NVL72 FP4；在低交互性场景下 GB300 FP4 仍占优，但 TPUv7 FP8 依然胜过 GB300 FP8。
令人惊讶的是，Google 的 TorchTPU vLLM 在 TPUv7 上使用 FP8，仅用 4 颗芯片，就在大部分帕累托前沿上，按每 TCO 性能计算击败了 GB300 NVL72 FP4。在低交互性场景下，gb300 fp4 仍然胜出，但在低交互性下 tpuv7 fp8 依然胜过 gb300 fp8。（3/4）
来源：SemiAnalysis_ · x.com