ggerganov· @ggerganov · X·· 4 天前AI 评分
llama.cpp 上线 Decision models 与 /v1/systemone 端点
ggerganov 宣布 llama.cpp 中的 Decision models 现已可用，最新 llama 构建提供 /v1/systemone 端点，可在本地高效、私密地进行 Jev-style 推理，目前支持多个开源模型，后续还将增加更多。
llama.cpp 中的决策模型现已可用
最新的 llama 构建版本中提供了 `/v1/systemone` 端点。你可以用它在本地高效、私密地进行 Jev 风格的推理。目前支持多个开源模型，后续还会增加更多。
huggingface.co/blog/ggml-org…
来源：ggerganov · x.com