SemiAnalysis解析HiCache与HiSparse显存优化
先了解这件事
AI 综述
2026年10月16日，SemiAnalysis发布内容介绍HiCache与HiSparse两项技术。HiCache通过将KV cache从HBM卸载到容量更高、带宽更低的下层内存，仅在计算时加载最相关的token，以缓解显存容量瓶颈。该内容指出，稀疏注意力只能缓解显存带宽问题，无法解决容量瓶颈——计算时仍需保留上下文中的全部token，最终仍要载入HBM。HiSparse则结合缓存规则，将最相关的部分加载进HBM，从而发挥作用。
报道时间线
10月16日
- HiCache 与 HiSparse：稀疏注意力不解决显存容量瓶颈
HiCache 通过将 KV cache 从 HBM 卸载到容量更高、带宽更低的下层内存，仅在计算时加载最相关的 token，以缓解显存容量瓶颈。稀疏注意力只能缓解显存带宽问题，无法解决容量瓶颈——计算时仍需保留上下文中的全部 token，最终仍要载入 HBM。HiSparse 结合缓存规则，将最相关的部分加载进 HBM，从而发挥作用。