美东时间周二，谷歌发布了一个炸裂硅谷科技圈的最新算法：超高效AI内存压缩算法TurboQuant。 谷歌声称，这项算法可以在在不损失准确性的前提下，将大型语言模型运行时的缓存内存占用至少减少6倍、性能提升8倍，本质上，可以让人工智能在占用更少内存空间的同时记住更多信息。 这一算法一经发布，美股芯片股应声下挫。谷歌和华尔街也掀起了一场热烈讨论：当前困扰众多科技巨头的内存芯片短缺灾难是否可以就此终结了？ TurboQuant是什么？ 先来说说这项TurboQuant算法具体是什么。 根据谷歌在官方网站的介绍，TurboQuant是一种压缩方法，它能够在不损失任何精度的前提下大幅减小模型大小，因此非常适合支持键值缓存（KV Cache）压缩和向量搜索。它通过两个关键步骤实现这一点： 1、高质量压缩（PolarQuant method）：TurboQuant 首先随机旋转数据向量。这一巧妙的步骤简化了数据的几何结构，使得可以轻松地将标准的高质量量化器分别应用于向量的每个部分。第一阶段利用了大部分压缩能力（大部分比特）来保留原始向量的主要概念和特征。 2、消除隐藏误差...