Hugging Face Blog·· 2024-03-18AI 评分
Hugging Face 推出 Quanto:面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重及 int8、float8 激活,可在 CUDA、MPS 等任意设备上运行。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co