Hugging Face 详解嵌入向量二值与标量量化：检索更快更省

Hugging Face 博客介绍嵌入向量的二值（binary）与标量（int8）量化，用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit，内存和存储减少 32 倍，配合 rescoring 可保留约 96% 的检索性能；int8 量化缩小 4 倍，平均带来 3.66 倍检索加速，二值量化平均加速 24.76 倍。