Mistral AI·· 2026-01-22AI 评分
堆内存会说谎:排查 vLLM 内存泄漏
Mistral AI 团队在 vLLM 上排查一起内存泄漏,问题只在 Mistral Medium 3.1、开启图编译的 Prefill/Decode 分离部署中出现,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。Memray、Guppy 3 均未发现泄漏,Heaptrack 显示堆内存稳定但峰值 RSS 存在差异,说明泄漏发生在堆之外。
当前提供 AI 导读,完整正文请阅读原文。
来源:Mistral AI · mistral.ai