如何在连续批处理中实现异步化：分离 CPU 与 GPU 负载提升推理吞吐

Hugging Face 详解如何在连续批处理中引入异步化，把 CPU 批次准备与 GPU 批次计算解耦并行执行。同步批处理下 CPU 与 GPU 轮流工作，用 8B 模型、batch size 32 生成 8K tokens 耗时 300.6 秒，其中 24.0% 时间 GPU 处于空闲等待 CPU。