跳到正文
原文
tianyi· @tianyi · X·· 4 小时前AI 评分71

DeepSeek 开源高性能大规模推理框架 DeepInfer

AI 导读

DeepSeek 以 Apache-2.0 许可开源了高性能大规模推理框架 DeepInfer,仓库地址为 github.com/deepseek-ai/DeepI…。其支持的特性包括优化的 kernel、模型与采样器运行时,Attention DP / balanced CP 与 MoE EP + EPLB 并行,DSpark 与置信度调度验证,SWA bounded replay,异步调度(零开销批调度器),批不变推理、确定性采样和结构化输出。

正文 · AI 翻译

DeepSeek刚刚以Apache-2.0协议开源了其高性能大规模推理框架DeepInfer。

github.com/deepseek-ai/DeepI…

支持的特性:

- 优化的内核、模型和采样器运行时

- 并行:注意力DP / 均衡CP,MoE EP + EPLB

- DSpark和置信度调度验证

- SWA有界重放

- 异步调度(零开销批处理调度器)

- 批次不变推理

- 确定性采样

- 结构化输出

来源:tianyi · x.com