Hugging Face Blog·· 2026-08-25精选AI 评分
Multiverse Computing 提出 Quantization-Aware Healing，4-bit 压缩模型在 7/9 基准上超过其 bfloat16 版本
Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original
Multiverse Computing 发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》，提出 QAH 方法：在结构压缩并量化后，直接从压缩前的原始模型蒸馏，而非从恢复出的 bfloat16 检查点蒸馏。
论文给出压缩加量化后从原始模型蒸馏的恢复配方，并附9项基准对比与QAT稳定性差异。
来源：Hugging Face Blog · huggingface.co