30秒サマリー
- LLMが採用するBPEトークナイザーの仕様が、安全性アライメントを回避する攻撃経路になることが実証された
- Qwen・Gemma・Llama・Mistralなど主要5モデルで拒否トリガーの無効化に80〜100%成功し、うち48%が実害のある出力を生成
- 既存の防御手法（DPO・SFT）では問題を根本解決できず、実用的な対策が未確立のまま
何が起きたか
2026年5月、Tung-Ling Liら3名の研究者がarXivに論文を公開し、LLMの安全制御に構造的な脆弱性が存在することを実証した。
問題の核心は、多くのLLMが採用するBPE（Byte Pair Encoding）トークナイザーにある。BPEは単語を複数のサブワード片に分割するため、安全性の判断に使われるキーワードが断片化される。研究チームは調査した3つの公開アライメントデータセット（計3万件）を精査した結果、意図的に断片化された入力がゼロ件であることを確認した。つまり、安全チューニングのデータに攻撃パターンが含まれていないという構造的欠陥が存在する。
研究チームはこの脆弱性をQwen-3-4B、Qwen-2.5-7B、Gemma-3-4B、Llama-3.1-8B、Mistral-7Bの5モデルファミリーでエンドツーエンドに検証した。安全トークンの断片化を最適化した攻撃手法は、HarmBenchの拒否対象プロンプトに対して80〜100%の確率で最初のトークンの拒否トリガーを無効化した。さらに、その48%（モデルごとに29〜65%）が実際に有害な出力を生成した。活性化パッチング分析により、安全制御シグナルの破損はモデルの後半約30%の層に局在することも判明した。
防御側の検証として、DPO（Direct Preference Optimization）の68セル構成を試みたが、いずれもASR（攻撃成功率）を安定的にゼロに抑えることはできなかった。断片化プロンプトを訓練データに加えたSFT（Supervised Fine-Tuning）は5モデル中3モデルでASRを低下させたが、その効果は無害なプロンプトへの拒否率も上昇させる「全体的な崩壊」によるものであり、選択的な修復とは区別できないと論文は指摘している。
原典ハイライト
論文は「3万件のアライメントデータに断片化プロンプトがゼロ件」という定量的な欠損を示し、それが攻撃の根本原因であると特定。さらにDPO・SFTともに根本的な解決策にならないことを実験で示しており、既存の安全チューニング手法全体への疑義を提起している。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
広く普及しているOSSモデル（Llama、Mistral、Qwen、Gemmaなど）に、人間には読める形のまま安全制御を回避できる攻撃手法が存在することが実証された。現時点で有効な防御策が確立されていないため、これらのモデルをAPI・製品・社内システムに組み込む企業は、悪意あるユーザーや攻撃者による有害出力の誘導リスクを今すぐ再評価する必要がある。
日本企業への示唆
LLMを業務サービス・チャットボット・社内AIツールに導入している日本企業は、以下の対応を検討すべきだと編集部はみる。第一に、利用中のモデルがBPEトークナイザーを採用しているかを確認し、入力フィルタリング層を安全制御の単一防衛線にしないこと。第二に、出力監視（モデレーションAPI等）を多層的に設けることで、万一アライメントが回避された場合の被害を抑止する設計が求められる。第三に、自社でLLMをファインチューニングしている場合、訓練データに断片化プロンプトが含まれていない可能性が高く、安全性評価の想定攻撃シナリオを見直す必要がある。なお、本論文はプレプリントであり査読を経ていないため、知見の活用にあたっては今後の追検証を注視されたい。
背景・経緯
LLMの安全性チューニング（アライメント）はRLHFやDPO等の手法で実装されており、有害なプロンプトへの拒否応答を学習させる。しかし、プロンプトを文字レベルで微妙に変形するだけで安全制御が回避される「ジェイルブレイク」攻撃は以前から知られていた。本論文はその根本的なメカニズムをトークナイザーの仕様に求め、実験的に特定した点が新しい。調査対象の3つのアライメントデータセットの名称は原文では明示されていない。
