Hugging Face 为 Intel Gaudi 提供更快的辅助生成支持

Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，通过草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可带来约 2x 加速。