qvac· @qvac · X·· 2 天前AI 评分
llama.cpp 合并面向 Apple Silicon 投机解码的新 Metal kernels
qvac 宣布其提交的 PR 已被合并进 llama.cpp，为 Apple Silicon 投机解码带来新的 Metal kernels。此前在 Mac 上投机解码比普通解码更慢，此次改动后在 M3 Ultra 上最高可达 3.4 倍加速，达到 110 tok/s 对比 32.1 tok/s。作者感谢 @ggerganov 的评审与优化。
我们有一个 PR 刚刚合入了 llama.cpp：为 Apple Silicon 上的投机解码新增了 Metal 内核。
在这个 PR 之前，Mac 上的投机解码比普通解码还慢。现在在 M3 Ultra 上，它比普通解码快至多 3.4 倍，达到 110 tok/s，而普通解码是 32.1。
感谢 @ggerganov 的评审与优化。
github.com/ggml-org/llama.cp…
来源：qvac · x.com