Hugging Face Blog·· 2022-05-02AI 评分
用 PyTorch FullyShardedDataParallel 加速大模型训练
Hugging Face 展示如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co
Hugging Face 展示如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co