1. 13人小团队颠覆Transformer霸权:SubQ模型算力暴减千倍,上下文1200万Token成本仅Opus 5%
一家仅13人的迈阿密初创公司Subquadratic,正试图动摇AI行业最坚固的技术地基——Transformer架构。该公司发布的SubQ模型,宣称全球首个基于完全亚二次方稀疏注意力架构(SSA),支持1200万Token上下文,计算量较Transformer暴减1000倍。这一消息已在AI社区引发剧烈震荡,有从业者直指,若技术属实,「Anthropic和OpenAI的估值直接归零」。 SubQ的核心突破在于重新定义注意力计算方式。传统Transformer的「密集注意力」机制要求每个Token与序列中所有其他Token逐一比较,导致上下文每翻倍,计算成本飙升四倍。这正是GPT、Claude、Gemini等主流大模型上下文普遍卡...