thexpin· @thexpin · X·· 5 小时前AI 评分
Seed 团队预印本报告 DeepSeek V4 存在 KV-cache 相位敏感性
Seed 团队一篇预印本报告 DeepSeek V4 和 V4.1-Flash 存在相位敏感性：相同信息在压缩 KV-cache 块中的位置不同，检索难度也不同。该技术可降低内存和注意力开销，但长上下文检索准确率在不同位置间差异最多达 40 个百分点；作者指出平均分会掩盖这类反复出现的弱点，且该发现针对检索问题，并非解释所有已报告的模型异常。论文见 arxiv.org/abs/2609.36322。
Seed 团队的一篇预印本报告了 DeepSeek V4 和 V4.1-Flash 中的“相位敏感性”：相同的信息根据其在压缩 KV 缓存块中的位置不同，可能变得更难检索。
该技术降低了内存和注意力开销，但长上下文检索准确率在不同位置之间差异高达 40 个百分点。
平均基准分数可能会掩盖这些反复出现的薄弱环节。该发现涉及的是检索问题，而非模型报告的每一个故障。
arxiv.org/abs/2609.36322
来源：thexpin · x.com