SemiAnalysis_· @SemiAnalysis_ · X·· 5 天前AI 评分
LLM 巨型内核解码加速解析
一个月内，三个团队借助巨型内核推动了 LLM 解码的进展：Inferact 在 Google TPU 上，AMD 采用 TileRT 和 FlyDSL，如今 NVIDIA 在 GB300 上的方案已在 InferenceX 上线。 我们很高兴看到这些进展，并深入探讨更快推理背后的工程原理。 巨型内核将通常在不同程序中运行的工作合并在一起。下文将解释这为何重要，以及每个团队的方法如何运作。(
Three teams in one month have pushed LLM decode forward with megakernels: Inferact on Google TPUs, AMD with TileRT and FlyDSL, and now NVIDIA on GB300, now live on InferenceX.
We're excited to see these gains and dig into the engineering behind faster inference.
Megakernels combine work that normally runs in separate programs. Here's why that matters and how each team's approach works. (1/8)🧵
来源：SemiAnalysis_ · x.com