13人小团队颠覆Transformer霸权：SubQ模型算力暴减千倍，上下文1200万Token成本仅Opus 5%

一家仅13人的迈阿密初创公司Subquadratic，正试图动摇AI行业最坚固的技术地基——Transformer架构。该公司发布的SubQ模型，宣称全球首个基于完全亚二次方稀疏注意力架构（SSA），支持1200万Token上下文，计算量较Transformer暴减1000倍。这一消息已在AI社区引发剧烈震荡，有从业者直指，若技术属实，「Anthropic和OpenAI的估值直接归零」。

SubQ的核心突破在于重新定义注意力计算方式。传统Transformer的「密集注意力」机制要求每个Token与序列中所有其他Token逐一比较，导致上下文每翻倍，计算成本飙升四倍。这正是GPT、Claude、Gemini等主流大模型上下文普遍卡在百万Token级别的原因——不是技术瓶颈，而是成本失控。SSA架构则采取截然不同的策略：根据内容「动态选择」真正值得关注的位置，仅在这些位置上精确计算注意力。实验数据显示，处理100万Token上下文时，SubQ速度比FlashAttention快52倍，成本不足Claude Opus的5%。

然而，业界反应呈现明显分歧。支持者认为这代表了「LLM真正的Scaling方向」，稀疏注意力打破了「越长越贵」的魔咒；但也有人保持审慎，指出该架构在复杂推理任务上的表现尚未经过充分验证，12 Million Token的实测效果仍有待大规模复现。目前，SubQ已开源部分权重，开发者社区正对其实际性能展开密集测试。这场由13人小团队引爆的技术讨论，正在成为检验Transformer统治地位能否延续的关键变量。