vLLM 推出基于推送的 KV 传输，改善分离式推理的 TTFT 与 TPOT

AWS 与 vLLM 社区推出基于推送（push）的 NIXL KV 传输连接器，将 prefill 后的传输协调与设置移出关键路径，改善分离式 P-D 推理的 TTFT 和 TPOT。