Googleが「TurboQuant」発表：LLMのメモリ消費を1/6に圧縮、H100で最大8倍高速化

Googleが大規模言語モデル（LLM）の運用コストと速度の壁を破る新技術「TurboQuant」を発表した。最大の衝撃は、KVキャッシュのメモリ消費量を従来のわずか6分の1にまで劇的に削減する点にある。これは、PolarQuantとQJLという二つの技術を組み合わせ、精度を損なうことなくKVキャッシュを3ビットまで圧縮することで実現した。NVIDIAのH100 GPU上での計算速度は最大8倍の向上が見込まれる。

この技術の核心は、LLM推論時のボトルネックであるKVキャッシュの肥大化を根本から解決することだ。膨大なコンテキスト長を扱う際のメモリ負荷が大幅に軽減されるため、Geminiのような自社の大規模モデルはもちろん、長文処理やマルチターン対話の実用性が飛躍的に高まる。同時に、メモリ帯域幅への依存が減ることで、計算リソースの効率的な利用が可能となり、推論のスループット向上に直結する。

影響はGoogleのモデルだけに留まらない。ベクトル検索を含むメモリ集約的なAIタスク全般の劇的な高速化とコスト削減が期待される。クラウド上での大規模モデル展開やエッジデバイスへの実装のハードルが下がり、AIサービスの普及と応用範囲の拡大に拍車をかける可能性が高い。業界では、高価なGPUリソースの効率化競争がさらに激化する兆しだ。