thexpin· @thexpin · X·· 6 天前精选AI 评分
DeepSeek 开源大规模模型推理框架 DeepInfer
DeepSeek 开源内部模型服务框架 DeepInfer，用于大规模部署推理。DeepSeek 称其支持 V4.1 Flash 的高吞吐、低延迟推理，并兼容 Nvidia 和华为昇腾硬件，提供分布式推理、投机解码、SWA Bounded Replay 和结构化输出。
DeepInfer 的开源让读者可以查看其大规模推理框架的具体能力与硬件适配范围。
DeepSeek 正在开源其内部的大规模模型服务框架 DeepInfer。
推理框架会对计算集群进行协调，从而影响 AI 的吞吐量、延迟、成本和能源效率。DeepSeek 表示，DeepInfer 为 V4.1 Flash 提供高吞吐量、低延迟的推理能力。
DeepInfer 同时支持 Nvidia 和华为昇腾硬件，可实现分布式推理、推测解码、SWA Bounded Replay 和结构化输出。除该框架外，DeepSeek 还发布了 deepseek-recipe，这是一个生产级分词组件，与其官方 API 完全兼容。
来源：thexpin · x.com