Hugging Face Infinity 在 Intel Xeon CPU 上的毫秒级延迟案例研究

Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器（Ice Lake）上的端到端推理基准：为 DistilBERT 序列分类任务优化的容器相比同平台原生 Transformers 延迟与吞吐最高提升 800%，相比上一代 Cascade Lake 实例提升 34%。