跳到正文
原文
Hugging Face Blog·· 13 小时前精选AI 评分74

PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与更快的 LLM 解码

AI 导读

Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 更新:FP8(float8_e4m3fn)张量登陆 MPS,可用 F.scaled_mm 直接在 GPU 上做缩放矩阵乘法,占用内存减半。

推荐理由

详细列出 Mac 上 MPS 后端的性能与内存数据,读者可据此判断在 Mac 本地跑 LLM 和视频生成的可行性变化。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co