ClementDelangue· @ClementDelangue · X·2026-10-02 23:02· 4 天前AI 评分40

llama.cpp 支持设备端运行决策模型

AI 导读

决策模型现在可在设备上通过 llama.cpp 运行。免费、快速、私密！ `llama serve -hf ggml-org/Kev-4B-GGUF`

正文 · AI 翻译

决策模型现在可以在 llama.cpp 上本地运行了。免费、快速、私密！

llama serve -hf ggml-org/Kev-4B-GGUF

来源：ClementDelangue · x.com

#产品更新 #端侧 #开源生态