跳到正文
原文
Hugging Face Blog·· 2022-05-02AI 评分36

用 PyTorch FullyShardedDataParallel 加速大模型训练

AI 导读

Hugging Face 展示如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co