跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 3 小时前AI 评分74

微软宣布Maia 300将成为主力推理芯片,2027年起替代NVIDIA与AMD

AI 导读

Satya Nadella宣布微软将把自研Maia芯片作为其产品的主要推理系统,规模扩展到数个GW,减少对NVIDIA硬件的依赖,Maia 300还意在替代AMD芯片。

正文 · AI 翻译

萨提亚·纳德拉正式宣布,微软将把自研的 Maia 芯片作为其产品的主要推理系统,并扩展到数吉瓦规模。

这将降低微软对 NVIDIA 硬件的依赖,而 Maia 300 的目标不仅是取代英伟达,还要取代 AMD 芯片。其核心宣称是:每兆瓦可生成的 token 数比领先的基于 GPU 的系统多 40%。

一整个机架可容纳 96 个加速器,功耗为 167kW,配备 27.6TB 的 HBM,微软称其 token 吞吐量最高可达 Maia 200 机架的 7 倍。

这一转变将从 2027 年开始,由 Maia 300 领衔,这是一款专为长上下文推理、低延迟聊天和多步骤智能体任务打造的第三代加速器。

其前代产品 Maia 200 已经在承载生产流量,包括 Microsoft Copilot,微软称 Maia 200 每瓦可生成的 token 数比领先的 GPU 基础设施最多多 1.7 倍。

Maia 300 针对的是数据传输成本问题,微软表示,如今这比纯粹的算力更限制大型推理系统。

Maia 300 采用"多小芯片(chiplet)"设计。传统芯片是一整块大硅片,包揽所有工作:数学运算(计算)、内存管理(内存控制器)以及与其他芯片通信(I/O)。而 Maia 300 则将这些任务拆分成几块更小的硅片,称为小芯片(chiplet),将它们封装在一起,使其表现得像一颗芯片。这样就为计算小芯片腾出了更多空间,用于放置真正运行 AI 数学运算的部分,而且每个小芯片都可以采用最适合其任务的制造工艺来生产。

每颗芯片配备 8 个 HBM4 堆栈,峰值带宽达 18.0 TB/s,TDP 为 950W,并使用片上 SRAM 作为暂存区来缓解内存压力。

对增强型 MXFP4 等低精度格式的支持缩小了 KV 缓存的体积——KV 缓存是随每个 token 增长的已存储注意力状态——从而使更长的上下文能在相同的功耗预算内运行。

供应是更难的制约因素,因为据报道,微软一直在与台积电谈判,计划在 2027 年交付超过 30 万颗 Maia 300,这一数字仍在协商中,尚未成为已签署的采购订单。

来源:rohanpaul_ai · x.com