Ulysses 序列并行：如何用百万 token 上下文训练大模型

Hugging Face 博客详解源自 Snowflake AI Research 的 Ulysses 序列并行（ALST 协议的一部分），通过注意力头并行与 all-to-all 通信把长序列切分到多 GPU，突破单卡显存限制。