美光高管警告：AI推理遭遇「内存墙」，全球5座工厂仍不够用

全球AI算力狂飙突进背后，一个被低估的瓶颈正在浮出水面。美光科技数据中心业务高级副总裁Jeremy Werner在最新一期The Circuit播客中罕见表态：内存需求的增长节奏，已超出公司内部的预测框架，现有产能布局面临持续承压。

Werner指出，AI训练与推理对内存的使用逻辑存在根本差异。训练阶段内存用于“学习”，属于一次性消耗；而推理阶段，模型必须依赖内存持续“记忆”——即存储KV缓存（Key-Value Cache），以在自回归生成过程中调用历史状态。这一机制导致的后果是：如果内存容量不足以承载完整的历史状态，模型只能被迫从头重新计算。Werner明确警告，每次重新计算的算力消耗相当于此前所有轮次的总和，呈指数级膨胀；而若内存充足，每轮增量仅为线性。“换言之，内存不够用，GPU的算力利用率会断崖式下滑；内存足够快、足够大，才能从一块GPU中榨取出平方倍的计算效率。”他透露，目前上下文窗口长度正以每年30倍的速率扩张，这一趋势正在系统性地吞噬内存资源。

美光为此加速构建三级内存层级体系：从贴近GPU的HBM（高带宽内存，容量约10至100GB），到连接CPU的主内存（容量为HBM的4至20倍），再到通过光纤连接的扩展内存模块。Werner透露，美光全球扩产计划新建5座工厂，但即便如此，产能能否跟上需求曲线仍是未知数。内存已从幕后配角上升为数据中心推理环节的核心战略资产，其稀缺性正在重塑AI基础设施的成本结构与供应链博弈格局。