公開：2026年10月17日, 最終更新：2026年10月17日
KVキャッシュ量子化（KV Cache Quantization）とは、大規模言語モデル（LLM）の推論時に動的生成されるKey・Valueテンソルのキャッシュデータを、FP16やBF16などの高精度浮動小数点からFP8・INT4・INT2などの低精度形式へ変換・保存することでVRAM使用量を削減する技術である。コンテキストウィンドウの拡大や高並列サービス運用におけるメモリボトルネックの解消を主な目的とする。
概要
LLMが文章をトークン単位で逐次生成する自己回帰的推論において、過去に計算済みのKey・Valueテンソルはメモリ（VRAM）上に保持され続ける。このKVキャッシュは、文脈長（コンテキストウィンドウ）や同時リクエスト数（バッチサイズ）が増えるほど膨大になり、推論の実用的なボトルネックとなる。KVキャッシュ量子化はこのキャッシュ領域のデータ精度を落として圧縮することで、より長い文脈の処理や高い並列度での推論を実現する。
学術界・オープンソースコミュニティで広く研究・実装されている技術概念群であり、特定の単一組織・個人が独占する商標ではない。代表的な研究としてUC BerkeleyのKVQuant やKIVI（2-bit量子化）、Kitty（2025年発表） などが挙げられ、実装面ではvLLM、Hugging Face Transformers、TensorRT-LLMといった主要推論エンジンでサポートされている。
仕組み・ポイント
学習済み重みの量子化との違い
重みのみの量子化（AWQ・GPTQなど）はモデル自体の固定サイズを削るのに対し、KVキャッシュ量子化は推論中に動的に増加するVRAM領域を対象とする。両者は補完的な関係にあり、ロングコンテキスト処理や大バッチサイズでの運用時に特に効果が現れる。
動的生成データゆえの難しさ
KVキャッシュは推論実行時に動的に生成されるため、事前のオフライン較正が難しい。生成時に現れるアクティベーション外れ値（Outliers）をいかに扱うかが精度維持の核心となる。
量子化の粒度と混合精度設計
KeyとValueで異なる量子化スケールを適用する手法が用いられる。KeyにはPer-Channel量子化、ValueにはPer-Token量子化やGroup量子化を組み合わせるケース や、特定チャネル・トークンのみ高精度を維持する混合精度（Mixed-precision）設計が研究されている。
メモリ削減の目安
- FP16 → FP8：メモリ使用量を約50%削減（2倍圧縮）
- FP16 → INT4：メモリ使用量を約75%削減（4倍圧縮）
関連するKVキャッシュ最適化技術
PagedAttention（メモリ仮想化・断片化防止）、Automatic Prefix Caching（共通プロンプトの再利用）、Sliding Window Attention（保持ウィンドウの限定）などと組み合わせて利用されることが多い。
なぜ今注目されているのか
FP8 KVキャッシュはNVIDIA Hopper（H100等）やBlackwell世代のハードウェア機能に対応した形でvLLMやTensorRT-LLMに標準的に組み込まれており、実運用レベルの機能として定着しつつある。一方、精度劣化を抑えながらINT4・INT2レベルまで圧縮するアルゴリズム（KIVI、Kittyなど）の研究が相次いで発表され、さらなる圧縮率の追求が続いている。
コンテキストウィンドウが数十万〜数百万トークン規模へ拡大する潮流の中で、KVキャッシュが推論コスト全体に占める割合は増大しており、「LLM推
※ 本ページはAI News JAPAN編集部が最新の動向を踏まえて解説したものです。内容は随時見直します。
