Hugging Face Blog·· 2024-08-13AI 评分
ggml 入门指南:面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南,介绍这个用 C/C++ 编写、专注 Transformer 推理的开源 ML 库。ggml 核心库自包含在不到 5 个文件中,编译后二进制小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量。ollama、LM Studio、GPT4All 等项目均基于 ggml 实现端侧 LLM。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co