SemiAnalysis_· @SemiAnalysis_ · X·· 5 天前AI 评分
LLM 巨型内核解码加速解析
一个月内，三个团队借助巨型内核推动了 LLM 解码的进展：Inferact 在 Google TPU 上，AMD 采用 TileRT 和 FlyDSL，如今 NVIDIA 在 GB300 上的方案已在 InferenceX 上线。 我们很高兴看到这些进展，并深入探讨更快推理背后的工程原理。 巨型内核将通常在不同程序中运行的工作合并在一起。下文将解释这为何重要，以及每个团队的方法如何运作。(
一个月内，已有三个团队借助巨核（megakernels）推动了 LLM 解码的进展：Inferact 在 Google TPU 上、AMD 借助 TileRT 和 FlyDSL，以及现在 NVIDIA 在 GB300 上——后者已在 InferenceX 上线。
我们很高兴看到这些进展，并深入探讨更快推理背后的工程原理。
巨核将通常在不同程序中运行的工作组合在一起。这一点为何重要，以及各团队的做法如何运作。（1/8）🧵
来源：SemiAnalysis_ · x.com