美光高管警告：AI推理「内存墙」致算力需求指数级暴涨，现有产能扩张速度已跟不上了

美光科技数据中心业务部门高级副总裁Jeremy Werner在近日播客节目中发出警告：AI对内存的需求正以超出预期的速度爆发式增长，现有产能扩张已难以跟上这一节奏。

Werner指出，当前的内存行业繁荣与以往周期性波动存在本质区别。内存已从单纯的基础设施组件，升级为数据中心推理环节突破瓶颈的核心战略资产。其关键在于推理过程对内存的使用逻辑与训练截然不同：训练用内存学习后遗忘，而推理必须依赖内存进行持续记忆。具体而言，推理的解码阶段需要反复调用KV缓存来生成准确答案，一旦内存容量不足以存储这些历史状态，系统就不得不从零重新计算。Werner以一个简单的数学关系揭示了这一问题的严重性：每次重新计算的算力需求等于此前所有轮次的总和。这意味着内存不足会导致GPU算力利用率急剧下滑；反之，若能提供足够快、足够大的内存，理论上可将GPU算力榨取出平方倍效能。

推动KV缓存需求膨胀的驱动因素来自三个维度：上下文窗口正以每年约30倍的速度增长、模型参数量持续扩大、同时并发使用AI的用户规模不断攀升。这三重压力叠加，使得内存瓶颈从隐患演变为制约AI发展的核心矛盾。美光方面已意识到问题的紧迫性，在全球范围内规划5座工厂以扩充产能，但Werner的表态暗示，即便如此大规模的资本投入，能否彻底缓解内存供应紧张仍有待观察。行业人士正密切关注内存层级技术路线（HBM、主内存、扩展内存）的演进节奏，以及上游产能释放能否匹配AI推理市场的实际需求增速。