llama.cpp 合并 Apple Silicon 投机解码新 Metal kernels
先了解这件事
AI 综述
2026年10月5日，Hugging Face CEO Clément Delangue 在 X 上表示，qvac 提交的 PR 已被合并进 llama.cpp，为 Apple Silicon 投机解码带来新的 Metal kernels。此前在 Mac 上投机解码比普通解码更慢；此次改动后，在 M3 Ultra 上最高可达 3.4 倍加速，达到 110 tok/s，对比此前的 32.1 tok/s。作者在帖文中感谢 ggerganov 的评审与优化。
报道时间线
10月5日
- llama.cpp 合并面向 Apple Silicon 投机解码的新 Metal kernels
qvac 宣布其提交的 PR 已被合并进 llama.cpp，为 Apple Silicon 投机解码带来新的 Metal kernels。此前在 Mac 上投机解码比普通解码更慢，此次改动后在 M3 Ultra 上最高可达 3.4 倍加速，达到 110 tok/s 对比 32.1 tok/s。作者感谢 @ggerganov 的评审与优化。