1. Google Turbo Quant Algorithm 随着投资者重新评估AI硬件需求,触发记忆部门股票下降
Google Research于星期二公布了名为TurboQuant的新压缩算法的细节, 在出版数小时内,记忆部门的库存量下降,微粒下降了约3%,西方数字损失了4.7%,而桑迪斯克则下降了5.7%,因为投资者重新计算了对物理存储硬件的预计需求。 TurboQuant针对的是AI推论中的主要成本驱动因素之一:关键值缓存、储存环境的高速数据结构,这样模型就不必为每个新牌子重新计算。 随着上下文窗口的扩大,缓存迅速增长并消耗了GPU内存,否则会为更多的用户服务或支持更大的模型。 Google TurboQuant将通常的每个值16比特的缓存压缩到3比特,将其记忆足迹减少6倍而基准精确度没有显著下降。 算法采用两阶段方法。 第一阶段称为Po...