30秒サマリー
- AWSがAmazon Bedrockで動作するRAGのコスト削減手法「クエリ認識型圧縮」を公式ブログで詳解
- 小型モデルで取得チャンクを事前フィルタリングし、主モデルへのトークン送信量を最大8.6倍削減
- ベンチマークではコスト33%減・品質スコア97.5%維持・幻覚率7ポイント低下を確認
何が起きたか
AWSは2026年8月、Amazon Bedrockを使ったRAGアプリケーションの入力トークンコストを削減する「クエリ認識型圧縮（Query-Aware Compression）」の実装パターンについて、公式ブログで詳細な解説を公開した。
このパターンは、ベクトル検索で取得した複数チャンクを主モデルに渡す前に、低コストの小型モデル（記事ではClaude Haiku）でフィルタリングするというものだ。小型モデルはクエリに関連する文章のみを原文のまま抜き出し、圧縮済みコンテキストだけを主モデル（Claude Sonnet）に送信する。実装はAWS Lambda上の単一関数で完結し、Bedrock Converse APIを通じて2回のモデル呼び出しを順次実行する。
検証はエンタープライズ向け9ソース種、50万件超のドキュメントコーパスと500問のベンチマークで実施された。圧縮ありの条件では、ベースライン比でコストが33%減、主モデルへのトークン送信量が8.6倍削減された一方、品質スコア（正確性・網羅性・引用精度・簡潔さの4軸合計）はベースラインの97.5%を維持した。幻覚率はベースライン比7ポイント低下している。リランク処理と組み合わせた場合はコスト36%減、トークン10.1倍削減、幻覚率13ポイント低下を記録したが、レイテンシはいずれの条件でも基準比12〜19%増加した。
同ブログでは、本パターンがプロンプトキャッシュ、Amazon Bedrock Intelligent Prompt Routing、Rerank APIなど既存のBedrock機能と組み合わせて追加のコスト削減効果を得られることも言及している。なお、検証結果はあくまで特定のコーパスとクエリ分布に基づくものであり、実際の環境では異なる結果になる可能性があると原文では明記されている。
原典ハイライト
ベンチマーク（50万件超ドキュメント・500問）において、クエリ認識型圧縮によりコスト33%削減・主モデルへのトークン数8.6倍削減を達成しつつ、品質スコアをベースラインの97.5%に維持。幻覚率は7ポイント低下。レイテンシは19%増加というトレードオフが生じた。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
RAGを大規模に運用する場合、取得チャンクの全文をそのまま主モデルに渡す設計はコストの主要因となる。本パターンはモデルを2段階にカスケードするだけで、既存のRAGアーキテクチャを大きく変えずにコストと幻覚リスクを同時に下げられる点が実用上の強みだ。ただしレイテンシ増加が伴うため、リアルタイム性が厳しい用途では設計上の判断が必要となる。
日本企業への示唆
社内文書検索・カスタマーサポート・法務レビューなどでRAGを運用中、または検討中の日本企業にとって、トークン課金型のLLM APIコストは運用規模拡大に比例して膨らむ課題だ。本パターンはAWS Lambdaと既存のBedrock Knowledge Basesに乗せて実装できる手法であり、特に文書量が多く質問の多様性が高いエンタープライズ用途で効果が出やすいとみられる。まず自社コーパスで圧縮率と品質の実測評価を行い、レイテンシ許容範囲を確認した上で段階的に適用するアプローチが現実的だ。リランク処理との併用も選択肢に入れると、さらなる削減余地がある。
背景・経緯
RAGはLLMに外部知識を与える代表的な手法だが、高再現率を確保するために多数のチャンクを取得・連結するため、入力トークン数が増加しやすい。Amazon Bedrock Knowledge BasesはOpenSearch ServerlessをバックエンドとするフルマネージドのRAG機能として提供されており、本パターンはその下流の後処理ステップとして追加できる設計となっている。
