跳到正文
原文
Hugging Face Blog·· 2024-08-13AI 评分28

ggml 入门指南:面向 Transformer 推理的 C/C++ 机器学习库

AI 导读

Hugging Face 发布 ggml 入门指南,介绍这个用 C/C++ 编写、专注 Transformer 推理的开源 ML 库。ggml 核心库自包含在不到 5 个文件中,编译后二进制小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量。ollama、LM Studio、GPT4All 等项目均基于 ggml 实现端侧 LLM。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co