Hugging Face Blog·· 2024-07-22AI 评分
Hugging Face 教程:用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程,介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B,并用 4-bit 分块量化把模型压到约 3.8G,低于 float16 转换的 14G。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co