FIT-GGUF 为 MiniCPM5-2B 实现可控尺寸混合精度量化

🚀 FIT-GGUF 为 MiniCPM5-2B 带来了可控大小的混合精度量化

开发者 @Scorp1o_117 使用 FIT-GGUF，围绕特定的大小和质量目标构建了 MiniCPM5-2B 的 GGUF 变体。

你无需选择固定的量化预设，而是可以设定目标文件大小或保真度等级，FIT-GGUF 会自动决定为不同张量分配多少精度——然后预测、生成并验证最终的 GGUF。

✨ 包含内容

🧠 张量级混合精度量化

📦 四个 MiniCPM5-2B 构建版本，大小从约 1.14 GiB 到约 1.46 GiB

🎯 质量 / 均衡 / 紧凑 / 迷你 预设

📊 KL 散度和 Same-top 评估

✅ 生成的文件大小与预测目标相符

这是一个很好的例子，展示了如何针对不同的内存和部署约束来调优 MiniCPM5-2B，而不必局限于单一的 Q4/Q5 式量化预设。

来看看 FIT-GGUF，尝试构建一个符合你自己设备预算的 MiniCPM5-2B 变体吧。

🤗模型: huggingface.co/SC117/MiniCPM…

huggingface.co/openbmb/MiniC…