QGallouedec· @QGallouedec · X·· 2 天前AI 评分
Hugging Face TRL v1.15 发布，默认启用融合 LM head 优化
TRL v1.15 发布，官方称这是迄今最大的一次优化，融合 LM head 默认开启。峰值显存最多降低 82%，序列长度提升 7 倍，DPO 从 10k 提升到 59k tokens，GRPO 从 29k 提升到 115k，更多细节见 github.com/huggingface/trl/r…。
TRL v1.15 已发布。这是我们有史以来最大的一次优化。
融合 LM head，默认开启：
→ 峰值显存最多减少 82%
→ 序列长度提升至 7 倍
→ DPO 从 10k 提升到 59k tokens，GRPO 从 29k 提升到 115k
还有更多…… github.com/huggingface/trl/r…
来源：QGallouedec · x.com