tianyi· @tianyi · X·· 4 小时前AI 评分
DeepSeek 开源高性能大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 许可开源了高性能大规模推理框架 DeepInfer,仓库地址为 github.com/deepseek-ai/DeepI…。其支持的特性包括优化的 kernel、模型与采样器运行时,Attention DP / balanced CP 与 MoE EP + EPLB 并行,DSpark 与置信度调度验证,SWA bounded replay,异步调度(零开销批调度器),批不变推理、确定性采样和结构化输出。
DeepSeek刚刚以Apache-2.0协议开源了其高性能大规模推理框架DeepInfer。
github.com/deepseek-ai/DeepI…
支持的特性:
- 优化的内核、模型和采样器运行时
- 并行:注意力DP / 均衡CP,MoE EP + EPLB
- DSpark和置信度调度验证
- SWA有界重放
- 异步调度(零开销批处理调度器)
- 批次不变推理
- 确定性采样
- 结构化输出
来源:tianyi · x.com