跳到正文
原文
Hugging Face Blog·· 2024-03-18AI 评分37

Hugging Face 推出 Quanto:面向 Optimum 的 PyTorch 量化后端

AI 导读

Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重及 int8、float8 激活,可在 CUDA、MPS 等任意设备上运行。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co