跳到正文
原文
Latent Space· Latent Space·· 6 天前精选AI 评分86

DeepSeek 开源 DeepInfer 推理框架及其生产吞吐与成本测算

AI 导读

DeepSeek 开源 DeepInfer 推理框架及 deepseek-recipe 服务组件,并披露单集群每日 155T tokens、96% 输入缓存命中率和闲时每加速卡小时 38 美元收入等生产数据。

推荐理由

文章汇总 DeepInfer 的开源范围、生产吞吐与推理成本,并对照 vLLM 复现结果和缓存口径,呈现了部署收益与可复现性之间的差异。

当前提供 AI 导读,完整正文请阅读原文。

来源:Latent Space · latent.space