用 transformers、accelerate 和 bitsandbytes 实现 8-bit 矩阵乘法入门

Hugging Face 将 LLM.int8() 集成进 transformers 和 accelerate，用 8-bit 矩阵乘法把大模型显存占用降到约四分之一且不损失推理性能。