巨型内核加速大模型解码
先了解这件事
AI 综述
2026年10月22日，SemiAnalysis发文梳理近一个月内三个团队利用巨型内核推进大模型语言模型解码的进展：Inferact在谷歌TPU上开展相关工作，AMD采用TileRT和FlyDSL，英伟达面向GB300的方案已在InferenceX上线。报道指出，巨型内核的核心作用是把通常运行于不同程序中的工作合并在一起；文章随后将分析其对更快推理的重要性，以及各团队方案的实现方式。
报道时间线
10月22日
- LLM 巨型内核解码加速解析
一个月内，三个团队借助巨型内核推动了 LLM 解码的进展：Inferact 在 Google TPU 上，AMD 采用 TileRT 和 FlyDSL，如今 NVIDIA 在 GB300 上的方案已在 InferenceX 上线。 我们很高兴看到这些进展，并深入探讨更快推理背后的工程原理。 巨型内核将通常在不同程序中运行的工作合并在一起。下文将解释这为何重要，以及每个团队的方法如何运作。(