跳到正文
原文
Hugging Face Blog·· 2024-07-22AI 评分56

Hugging Face 教程:用 Core ML 在 Mac 上运行 Mistral 7B

AI 导读

Hugging Face 发布教程,介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B,并用 4-bit 分块量化把模型压到约 3.8G,低于 float16 转换的 14G。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co