AI 算力要变天了？ Google 这一刀，直接重写推理规则

摩根士丹利（ Morgan Stanley ）针对 Google 最新发布的「 TurboQuant 」技术所出具的关键科技短评。 TurboQuant——对科技产业的影响 这个压缩演算法让 AI 推论速度提升 8 倍，同时减少 6 倍的记忆体使用量。它仅在推论期间影响 KV 快取（ KV cache ），并让每颗 GPU 产生多得多的输出。考量到投资回报率（ ROI ）的机会，这对大型云端服务商（ Hyperscalers ）和大型语言模型（ LLMs ）具有正面意义。对运算与记忆体而言，则是长期的利多。 对记忆体的影响——短期中立，长期偏多：

• 短期影响：TurboQuant 在推论时仅针对键值快取（ Key Value cache ，即随着上下文长度增加的暂存键/值向量）进行作用。模型权重（ GPU/TPU 上的 HBM 使用量）与训练工作负载不受影响，但它允许在相同的硬体上执行 4 到 8 倍长的上下文，或是在不耗尽记忆体的情况下处理大得多的批次大小（ batch sizes ）。这并不是说所需的记忆体或总硬体减少了 6 倍，而是一种提升每颗 GPU 吞吐量的效率增益。

我平时会在美股频道分享市场节奏、宏观方向，以及一些核心个股的关键位置判断。如果你也在关注美股，欢迎进来一起交流。可以添加我的频道管理员的 TG：@Zhouy0218