vLLM 双向 KV cache 传输改善多轮智能体工作负载 TTFT

AWS 博客介绍在 vLLM 中引入双向 KV cache 传输，让 prefill 节点复用 decode 节点保留的 KV，减少多轮对话中重复 prefill 计算。