Hugging Face Accelerate 如何借助 PyTorch 运行超大模型

Hugging Face 的 Accelerate 利用 PyTorch 的 meta device 先创建无权重空模型，再逐层加载权重并按设备映射分配，从而在内存和单卡显存不足时也能运行超大模型。