KV Cache：长上下文推理的成本关键

在大语言模型推理过程中，KV Cache 用于缓存注意力机制中的 Key 和 Value，避免重复计算历史 token。随着上下文长度增长，缓存占用的 GPU 显存也会增加，直接影响单卡并发能力和推理成本。因此，压缩 KV Cache 是降低长上下文、代码生成和 Agent 应用成本的重要方向。

DeepSeek 的技术路线

DeepSeek 通过多头潜在注意力机制（MLA）、压缩稀疏注意力（CSA）等技术减少缓存开销。结合跨层缓存复用、FP4 低精度量化等方案，还可以进一步压缩存储空间。

原文声称，相关技术路线能够将全局 KV Cache 降至每 token 890 字节，相比 DeepSeek-V1 的约 389 GB/百万 token，规模下降约 437 倍。不过，这一对比涉及注意力架构、稀疏计算、缓存复用、量化精度乃至模型规模等多种变化，不能简单理解为同一个模型仅靠单一技术实现了 437 倍压缩。

西方模型是否借鉴了这些技术？

文章《The AI Race Just Got Awkward》提出一个观点：Anthropic 和 OpenAI 新模型的缓存读取价格大幅下降，可能与中国实验室公开的推理优化思路有关。作者将价格变化与相关模型的技术发展联系起来，推测西方厂商可能在低调采用类似方案。

Anthropic 总说中国公司在“蒸馏/偷”西方模型，但作者认为，现在更像是西方公司在悄悄采用中国公司公开分享的推理优化方案。中国实验室把“配方”免费公开，反而给亏损的西方推理业务送了救命绳，作者不明白为什么中国公司愿意这么做。

但这仍然是作者的推断，而非厂商已经证实的事实。缓存读取价格下降也可能来自硬件升级、批处理优化、调度改进及商业定价策略，不能仅凭价格变化认定技术来源。

技术竞争的真正焦点

开源研究的价值，不只是发布一个更强的模型，也包括公开可复用的架构创新。KV Cache 优化能够降低推理服务的显存需求，提高资源利用率，让长上下文和 Agent 应用更具经济可行性。

与其争论谁借鉴了谁，不如关注技术是否公开、性能能否复现，以及单位 token 的实际成本是否下降。这些指标才是评估 AI 基础设施竞争力的关键。