Inferact 与 NVIDIA 联合优化 DeepSeek v4.1 Flash 推理

AI 导读

Inferact 与 NVIDIA 联合优化 DeepSeek v4.1 Flash 推理，已提交 200 tok/s/user p90 交互性 SLO 曲线，未来数日将扩展至 150 和 100 tok/s/user。

正文 · AI 翻译

目前，Inferact 与 NVIDIA 仅提交了最高 200 tok/s/user 的 p90 交互性 SLO，但在未来几天内，他们还将把曲线扩展到 150 tok/s/user 和 100 tok/s/user，这将比其他任何提交好上 10-20 倍，并且由于这项协同设计技术的出色表现，会让其他所有提交的曲线看起来都像是平线。

DeepSeek v4.1 Flash 的工作是由 Juntian、Yifan、Inferact 团队和 NVIDIA 团队共同完成的！出色的工作！

仪表板链接（3/3）inferencex.semianalysis.com/…