跳到正文
原文
vllm_project· @vllm_project · X·· 2 天前AI 评分59

vLLM 支持 NVIDIA Vera Rubin,MiniMax M3 吞吐达 GB200 的 7.8 倍以上

AI 导读

vLLM 宣布支持 NVIDIA Vera Rubin,早期结果显示在 AgentX 上运行 MiniMax M3 的吞吐超过 GB200 的 7.8 倍。@inferact、@NVIDIAAI、@RedHat_AI 与 vLLM 社区自 Rubin 发布以来一直在推进 vLLM 在该平台上的适配,目前进展如推文所述。

正文 · AI 翻译

vLLM 现已支持 NVIDIA Vera Rubin。早期结果显示,在 AgentX 上,MiniMax M3 的吞吐量超过 GB200 的 7.8 倍。

@inferact、@NVIDIAAI、@RedHat_AI 以及 vLLM 社区自 Rubin 发布以来一直在推进 vLLM 在其上的适配。以下是目前的进展。

🧵 1/5

来源:vllm_project · x.com