The Lab · 2026-03-31 01:09:25 · 36氪
AI正从‘简单对话’向‘智能体(Agent)’演进,这一转变正以前所未有的速度引爆对显存的需求。中信证券最新研报指出,驱动需求爆发的核心在于上下文长度的激增。根据Epoch AI的数据,大模型的最长上下文窗口正以每年约30倍的速度增长,而存储关键中间数据的KV Cache显存容量与上下文长度呈线性增长关系,其增速已远超当前硬件配置的升级速度。
面对这一存力瓶颈,无论是大模型厂商还是硬件厂商,目前主要采取量化、分层存储和模型架构优化等手段来应对。然而,中信证券分析认为,这些优化手段虽能降低单次Token生成的边际成本,但更低的成本反而可能刺激用户开启更高并发任务和使用更长上下文,导致总体的存储需求不减反增。因此,存力升级已成为当前A...
The Lab · 2026-04-20 13:33:10 · 华尔街见闻 (RSSHub)
人工智能的算力需求正以指数级膨胀,而传统的纯电计算架构已撞上物理极限的‘高墙’。摩尔定律放缓、‘功耗墙’与‘内存墙’的制约,以及大规模GPU集群间的互连瓶颈,共同构成了当前AI发展的核心硬件危机。在这一背景下,曦智科技(Lightelligence)的IPO进程,将光电混合算力这一前沿硬件革新方案推向了资本市场的聚光灯下,试图回答一个根本问题:光,能否成为突破算力瓶颈的终极路径?
行业演进正沿着从‘电’到‘光’的路径探索。光电混合算力被视为硬件革新的核心方向,其落地遵循分阶段路线。当前,数据中心内部已开始大规模商用光互连技术,以解决电互连的带宽瓶颈。中期目标是与光交换技术融合,构建‘传输—交换’闭环的全光数据中心。长期愿景则是实现...