跳到正文
原文
X:面壁智能 OpenBMB (@OpenBMB)· @OpenBMB·· 7 天前AI 评分22

社区为 MiniCPM5-2B 打造 EXL3 4-bit 量化版,权重仅 1.61 GB

AI 导读

社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,采用 4.0 bpw 量化以缩小模型体积。该版本在 NVIDIA Tesla T4 上实测约 68–70 tokens/s,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。

当前提供 AI 导读,完整正文请阅读原文。

来源:X:面壁智能 OpenBMB (@OpenBMB) · x.com