DeepSeek V4预览版开源：1M上下文成标配，架构层彻底重构注意力机制

DeepSeek正式发布V4预览版并同步开源，核心动作只有一件事：将一百万token上下文设为所有官方服务的标配。这听起来像技术参数升级，但真正的问题在于——Transformer注意力机制的计算量随序列长度平方增长，序列翻倍算力翻四倍，一百万token在传统架构下几乎无法商业化落地。V4给出的答案是架构层面的彻底重构。

技术报告披露的改动幅度超出预期。在1M token场景下，V4-Pro单token推理FLOPs仅为V3.2的27%，KV缓存用量只有10%。实现路径是两套机制的协同： CSA（压缩稀疏注意力）解决“算什么”，用轻量级索引器对所有token对做粗筛，快速估算相关性排序后精选需要完整计算的集合，关键在于这套稀疏结构可训练——模型在训练过程中自行学习何处需要高密度注意力、何处可以稀疏化。V3.2时代的DSA是雏形，V4在此基础上进一步演化。HCA（深度压缩注意力）解决“存什么”，在V3的MLA基础上继续推进，将KV向量映射到低维潜空间推理时解压，叠加FP4+FP8混合精度后，KV缓存的显存占用再降一半。两者叠加，使得同等算力下能服务的1M上下文并发量约为原来的3至4倍。

这是一次注意力机制的结构性颠覆。过去的解法要么切掉计算范围（滑动窗口只看局部，全局感知随之消失），要么绕开长文本本身（RAG先检索再喂给模型，检索质量成为新瓶颈），要么设计固定稀疏模式但泛化能力有限。V4的可训练稀疏结构意味着模型能自适应不同任务的信息分布，而非依赖人工预设。这直接冲击了超长上下文落地成本的关键障碍，也意味着开源后其他厂商跟进类似架构的压力将显著上升。