HiCache 与 HiSparse：稀疏注意力不解决显存容量瓶颈

稀疏注意力解决的是内存带宽问题，而非内存容量问题。

“HiCache 的核心思路，是尝试将 KV 缓存从 HBM 卸载到更低层级、容量更大但带宽更低的内存中，并且只在计算时加载最相关的那部分 token。”

“稀疏注意力并不能缓解内存容量瓶颈。它是一项对内存带宽帮助很大的技术。”

“在稀疏注意力计算过程中，你仍然需要选择 token。因此，你还是必须保留上下文中的所有 token，不能丢弃它们。到了某个阶段，它们仍然必须被加载进 HBM。”

“这正是 HiSparse 发挥作用的地方，因为它可以应用典型的缓存规则，从而将最相关的部分加载进 HBM。”