公開：2026年9月9日, 最終更新：2026年9月9日
30秒サマリー
- DiDiの海外事業部門がAWS Amazon Bedrockを活用し、コンタクトセンターQAシステムを第三者依存から内製に切り替え
- 意図分類の精度が38%から86%へ改善、コンプライアンス評価精度は90%超を達成
- 鍵は「情報の分離」というコンテキスト管理の設計原則で、LLMへの入力情報を工程ごとに厳密にコントロール
何が起きたか
DiDiの海外事業グループ（International Business Group）のカスタマーエクスペリエンス部門は、AWSと協力してAmazon Bedrockを基盤とするコンタクトセンター品質管理（QA）システムを構築した。同部門はスペイン語・ポルトガル語で月間大量のチケットを処理しており、ライドヘイリング、フードデリバリー、金融サービスの3事業領域をカバーする。従来はブラックボックス型の第三者QAソリューションを利用していたが、判断の追跡可能性の欠如、多言語・多事業横断の組み合わせ複雑性、QA基準変更への対応の遅さ、傾向の早期検知の困難さという4つの課題を抱えていた。
新システムは「意図確認」「コンプライアンス評価」「Voice of Customer（VOC）分析」の3パイプラインで構成される。特に意図確認パイプラインでは、LLMへ渡す情報を工程ごとに分離する設計が精度向上の鍵となった。従来は分類ツリー全体と会話を同時にLLMへ与えていたため、本来正確なラベルに対しても「より細かい代替案」を見つけ出して誤りと判定してしまう問題が発生していた。これをまず現行ラベルのみで検証する「確認フェーズ」と、不合格時にのみ全分類ツリーを参照する「分類フェーズ」に分離したことで、意図確認精度が38%から86%に改善した。
コンプライアンス評価パイプラインでは、言語・事業ラインのコンテキストや判定基準を外部設定ファイルとして管理し、チケットのメタデータに基づいて動的にプロンプトを組み立てる設計を採用した。これにより組み合わせごとに個別プロンプトを管理する必要がなくなり、1回のLLM呼び出しで全組み合わせに対応できる。コンプライアンス評価精度は90%超を達成している。VOC分析では、オペレーションチームが時間窓を指定してバッチ分析を実行でき、従来は数時間かかっていた手作業の集計が数分に短縮されたという。
原典ハイライト
意図確認の精度が38%から86%に向上した根本原因の診断と設計変更が本記事の核心。「LLMは選択肢の全リストを見ると自動的に比較を始め、わずかに精確な代替案を見つけると現行ラベルを誤りと判定する」という挙動を、プロンプト改善ではなく『情報をどこで見せるか』という設計で解決した点が技術的に重要。
出典: AWS Machine Learning Blog（公式ブログ）
So What?（なぜ重要か）
編集部の視点では、この事例が示す最大の示唆は「LLMの精度問題の多くはプロンプト文言ではなくコンテキスト設計に起因する」という点だ。生成AIのQA精度に悩む組織が真っ先に見直すべきは、モデルへ渡す情報の範囲・タイミング・粒度の設計であり、ファインチューニングや高性能モデルへの乗り換えより先に試みるべき手段であることをこの事例は裏付けている。また、判定の根拠チェーンを全スコアに付与し、ルール決定論的な項目は後段でコード検証するハイブリッドアーキテクチャは、生成AIを監査対象業務に導入する際の実践的な安全設計として参考になる。
日本企業への示唆
日本のコンタクトセンターや品質管理部門が同様のシステムを検討する際、以下の点が意思決定の参考になる。第一に、「第三者QAツールから内製AIへの移行」はコスト削減だけでなく、判断の追跡可能性と基準変更への即応性という運用上の優位性をもたらす。第二に、精度改善の鍵は高性能モデルの選定より「何をいつモデルに見せるか」という設計判断であり、社内のAIエンジニアリング能力が競争力の源泉になる。第三に、コンプライアンスや個人情報保護への配慮（Amazon Bedrock GuardrailsによるPII処理、VPCエンドポイントによるネットワーク分離など）は日本の個人情報保護法やFISCガイドラインへの対応とも親和性があり、金融・通信など規制産業での採用可能性が高い。
背景・経緯
DiDiの海外事業グループは14カ国・地域で数千万人規模のユーザーにサービスを提供する。多言語・多事業という複合的な環境下でQA基準が頻繁に変化する中、従来の第三者ソリューションは透明性・柔軟性ともに限界に達していた。Amazon Bedrockを選定した理由として、原文ではモデル非依存の単一APIアクセス、ネットワーク境界内でのデータ保持・ガバナンス制御、Guardrailsによる責任あるAI実践対応の3点が挙げられている。
