Inferact 分享 vLLM 在 Agent 生产负载的部署经验

对于推理服务器来说，智能体流量是一种奇特的负载。

每一轮都会重新发送一段很长且几乎完全相同的前缀（系统提示、工具模式、历史记录），然后只要求返回一个简短的工具调用结果。

在 DigitalOcean 的 Open Intelligence Summit 上，Inferact 的 Yifan Qiao 将在 Serve 分会场带来一场关于在智能体生产负载上运行 vLLM 的演讲。

正是这种流量形态，使得前缀缓存和 KV 缓存复用对智能体而言，比单纯的每秒原始 token 数更为重要。长前缀一旦缓存未命中，就意味着在长任务的每一轮中都要重新支付完整的预填充开销。