ClementDelangue· @ClementDelangue · X·· 4 天前AI 评分
llama.cpp 支持设备端运行决策模型
决策模型现在可在设备上通过 llama.cpp 运行。免费、快速、私密！ `llama serve -hf ggml-org/Kev-4B-GGUF`
Decision models now run on device in llama.cpp. Free, fast, private!
llama serve -hf ggml-org/Kev-4B-GGUF
来源：ClementDelangue · x.com