SemiAnalysis_· @SemiAnalysis_ · X·· 4 小时前AI 评分
AMD 抢先在上游 vLLM 落地 MegaKernels 解码支持，早于 NVIDIA
AMD 已在上游 vLLM 落地 MegaKernels 解码支持，早于 NVIDIA，这是首个仅支持 ROCm 而尚不支持 CUDA 的 vLLM 重大功能。MegaKernels 通过将 kernel 启动次数减少 10x 来服务高交互性解码场景；CUDA 侧的上游 vLLM megakernel 支持目前连 draft PR 都还没有。
警报🚨：AMD 抢在 NVIDIA 之前，率先在上游 vLLM 中落地了对 MegaKernel 解码的支持。这标志着重大 vLLM 功能首次仅在 ROCm 上获得支持、而尚不支持 CUDA 的情况之一。
MegaKernel 是一种对高交互性解码极为重要的技术，可将内核启动次数减少 10 倍。
这对 ROCm vLLM 落地重大 ROCm 独占功能而言，是一个❗️重要里程碑❗️。CUDA vLLM 甚至还没有为上游 vLLM 的 MegaKernel 支持提交草案 PR。
来源：SemiAnalysis_ · x.com