跳到正文
热点事件持续更新

vLLM 推出双向与推送式 KV 传输优化分离推理

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月20日，AWS Machine Learning Blog 连续发布两篇关于 vLLM KV cache 传输优化的文章。第一篇介绍在 vLLM 中引入双向 KV cache 传输机制，使 prefill 节点能够复用 decode 节点保留的 KV cache，从而减少多轮对话场景中重复的 prefill 计算，改善多轮智能体工作负载的首 token 延迟（TTFT）。第二篇介绍 AWS 与 vLLM 社区共同推出基于推送（push）的 NIXL KV 传输连接器，将分离式 P-D（prefill-decode）推理架构中传输的协调与设置环节移出关键路径，以同时改善 TTFT 与 TPOT（每 token 输出延迟）。两项改进均针对分离式推理和多轮智能体场景的性能瓶颈。

AI 根据报道生成 · 2 小时前更新

最新进展10月20日 00:05
AWS 与 vLLM 社区推出基于推送的 NIXL KV 传输连接器，改善分离式推理的 TTFT 与 TPOT。

报道时间线

沿着报道，了解事件的不同侧面。

10月20日
  1. AWS Machine Learning Blog
    vLLM 推出基于推送的 KV 传输，改善分离式推理的 TTFT 与 TPOT

    AWS 与 vLLM 社区推出基于推送（push）的 NIXL KV 传输连接器，将 prefill 后的传输协调与设置移出关键路径，改善分离式 P-D 推理的 TTFT 和 TPOT。

  2. AWS Machine Learning Blog
    vLLM 双向 KV cache 传输改善多轮智能体工作负载 TTFT

    AWS 博客介绍在 vLLM 中引入双向 KV cache 传输，让 prefill 节点复用 decode 节点保留的 KV，减少多轮对话中重复 prefill 计算。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。