Hugging Face 详解 transformers 中的 MoE 支持

Hugging Face 发文介绍 transformers 库如何为 MoE 模型重构支持，涵盖权重加载、专家后端、专家并行与训练四部分。权重加载引入 WeightConverter 与惰性物化，将 256 个独立专家张量打包为单个连续张量；在 Qwen1.5-110B-Chat 上，v5 异步加载耗时 20.71s，v4 为 66.24s，张量并行下为 10.1s。