rohanpaul_ai· @rohanpaul_ai · X·· 6 小时前AI 评分
Qwen 27B 1.5bit量化仅需6GB
Emad Mostaque：AI 模型"基本已达到人脑的效率"。 Alibaba 的 Qwen 27B 通常需要约 60GB 内存，而 Prism ML 团队通过用 1.5 bit 而非 16 bit 存储数值，将其降至 6GB，同时保留 95% 的性能。 在 6GB 下它可在 Raspberry Pi 上运行，"其能耗与你的大脑相当。" ---- 完整视频在 "Tom Bilyeu" YouTube 频道，（链接在评论中）
Emad Mostaque：AI 模型“基本上已经达到了人脑的效率”。
阿里的 Qwen 27B 通常需要约 60GB 内存，而 Prism ML 团队通过将数值从 16 位改为 1.5 位存储，把内存需求降到了 6GB，同时保留了 95% 的性能。
在 6GB 下，它可以在树莓派上运行，“而树莓派的能耗和你的大脑一样”。
----
完整视频在“Tom Bilyeu”的 YouTube 频道（链接见评论）
来源：rohanpaul_ai · x.com