DeepSeek 开源生产推理框架 DeepInfer
DeepSeek 开源了支撑其大规模生产服务的推理框架 DeepInfer，包含 kernels、专家并行和 KV cache 等优化。其调度器结合置信度预测与实测硬件吞吐，决定每个请求验证的 token 数量，并动态调整 prefill 分块、decode 路由及 CPU 与 GPU 调度，以改善批处理一致性。Transformers 团队正在相关分支上验证这些思路能否推广到更多架构。
文章拆解了 DeepInfer 的调度机制及其对批处理时延和吞吐的影响，并提到 Transformers 正在验证这些思路的通用化。
DeepSeek 刚刚开源了 DeepInfer，这是其大规模生产服务背后的推理框架。
其中包含的内容非常丰富：内核、海量专家并行、KV 缓存技巧……
但最吸引我的可能是其中的调度机制 👀
DeepInfer 的调度器正越来越多地决定*计算资源究竟值得花在哪里*，而不是对每个请求或 token 一视同仁。
在推测解码中，置信度头会预测哪些草稿 token 可能被接受，调度器则结合这一预测与实测的硬件吞吐量，决定为每个请求验证多少个 token。
这意味着批次的持续时间会变得更容易预测：不会再出现某个副本比其他副本耗时更长、拖慢整个组的情况。批次越规整，吞吐量就越高。
他们将同样的理念应用在其他方面：
- 预填充分块会根据计算预算和硬件成本模型动态调整大小
- 解码路由会同时平衡请求数量和 KV 缓存长度
- CPU 调度与 GPU 调度重叠执行，并与推测解码紧密集成
- 缓存前缀与计算部署位置解耦，因此路由可以针对可用计算资源进行优化，而不必受限于缓存局部性
这正是我希望看到能够被复用到单一模型或单一服务栈之外的推理工作：
Transformers 已经拥有 CB、分页 KV 缓存和异步批处理；@remi_or_ 和团队目前正在开发相关分支，以探索 DeepInfer 的哪些想法可以泛化，让更多架构从中受益。初步结果见下图！
再次感谢 DeepSeek 开源 ❤️
来源：LysandreJik · x.com