AWS优化SageMaker AI上MoE kernel性能
先了解这件事
AI 综述
2026年10月13日，AWS Machine Learning Blog 发布一手文章，介绍团队在 Amazon SageMaker AI 上针对 Fused MoE（专家混合）模型实施的三项 kernel 工程优化：一是通过 Swap-AB 转置提升 Hopper 架构 WGMMA 指令利用率；二是针对 FP8 量化模型，将路由计算切换到 Triton 后端；三是消除 Triton JIT 的重复编译开销。目前该报道为最新发布，尚无后续进展或相关争议。
报道时间线
10月13日
- Amazon SageMaker AI 上的 MoE kernel 工程优化实践
AWS 团队介绍了在 Amazon SageMaker AI 上针对 Fused MoE 模型实施的三项 kernel 优化：Swap-AB 转置以提升 Hopper WGMMA 利用率、为 FP8 量化模型将路由切到 Triton 后端、以及消除 Triton JIT 重复编译。