从第一性原理理解 continuous batching

Hugging Face 发布博客，从注意力机制与 KV 缓存出发，推导出 continuous batching 这一推理优化技术。该方法通过并行处理多个对话、完成即换出，来最大化高负载场景下的吞吐量。文中指出注意力是 token 间唯一交互之处，其计算量随序列长度呈平方增长。