Hugging Face 通过 Packing 与 Flash Attention 2 提升训练效率

Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的 packing 训练与 Flash Attention 2 兼容，避免跨样本注意力。