Amazon SageMaker AI 上的 MoE kernel 工程优化实践

AWS 团队介绍了在 Amazon SageMaker AI 上针对 Fused MoE 模型实施的三项 kernel 优化：Swap-AB 转置以提升 Hopper WGMMA 利用率、为 FP8 量化模型将路由切到 Triton 后端、以及消除 Triton JIT 重复编译。