AI News JAPAN

世界のAIニュースを最速で把握できるメディア

Advertisement

LLMON:後学習のみでプロンプトインジェクション攻撃成功率を最大100%から5.6%以下に低減

公開:2026年11月1日, 最終更新:2026年11月1日

Basel Shbitaら11名の研究者チームは2026年10月28日、LLMの命令とデータを明示的に分離するフレームワーク「LLMON(LLM Object Notation)」を用いた後学習手法に関する論文をarXivに投稿した。間接プロンプトインジェクション攻撃の成功率を53〜100%から0.02〜5.6%まで大幅に低減できるとしている。

30秒サマリー

  • LLMが命令とデータを区別できないことに起因するプロンプトインジェクション脆弱性を、後学習のみで解消する手法「LLMON」を研究者チームが提案
  • 46億トークンの構造化学習コーパスとSFT+強化学習でGranite-4.1(3Bおよび8B)を後学習し、攻撃成功率を最大100%から5.6%以下に削減
  • アーキテクチャ変更不要で汎用能力を維持しつつ安全性を向上でき、アテンションベースの解釈可能性指標も新たに導入

LLMONの手法と実験結果の要点

Basel Shbitaら11名の研究者チームがarXivに投稿した論文は、LLMが全コンテキストトークンを均一に扱うために生じるプロンプトインジェクション脆弱性・命令バインディングの曖昧さ・実行制御の不安定性を課題として提起している。

これを解決するため、LLMの命令とデータを明示的に分離し、識別子ベースの明示的な実行を要求するフレームワーク「LLMON(LLM Object Notation)」を提案した。汎用・RAG(検索拡張生成)・ツール呼び出しの各用途を網羅する46億トークン規模の構造化学習コーパスを構築し、競合する命令や無関係なデータが混在する「ディストラクター混入バリアント」を加えてデータを拡張している。

Granite-4.1の3Bおよび8Bベースモデルを対象に、教師あり微調整(SFT)に続いて強化学習を適用した結果、間接プロンプトインジェクションベンチマークにおける攻撃成功率が53〜100%から0.02〜5.6%へと低減した。汎用的な性能は維持されたとしている。

さらに、構造化入力に対してトランスフォーマーの個別レイヤー単位で失敗モードを診断するアテンションベースの解釈可能性指標を新たに導入した。この指標により、LLMONがモデル内部のアテンションパターンをどのように変化させるかを可視化できるとしている。論文はアーキテクチャの変更を一切行わず、通常の後学習プロセスのみで明示的な実行セマンティクスを学習させられると結論づけている。

LLMONの主な仕様・数値

  • 学習コーパス規模:4.6Bトークン
  • 対象モデル:Granite-4.1(3Bおよび8B)ベースモデル
  • 学習手法:教師あり微調整(SFT)+強化学習
  • カバー用途:汎用・RAG・ツール呼び出し
  • 攻撃成功率(後学習前):53〜100%
  • 攻撃成功率(後学習後):0.02〜5.6%
  • アーキテクチャ変更:なし
  • 論文投稿日:2026年10月28日

出典: arXiv cs.AI(論文)

なぜ重要か(編集部の分析)

編集部の見解:LLMを企業のRAGシステムやツール連携エージェントとして実運用する際、最大のリスクの一つが外部データ経由のプロンプトインジェクション攻撃だ。LLMONはアーキテクチャを変えずに後学習だけで攻撃成功率を実質ゼロ近傍まで下げることを示しており、既存モデルへの適用コストが比較的低い点で実用上の意義は大きい。ただし本論文はarXivへの投稿段階であり、査読済み結果ではない点に留意が必要だ。

日本企業への示唆(編集部の分析)

編集部の見解:RAGや社内AIエージェントを導入・検討中の日本企業にとって、プロンプトインジェクション対策は喫緊の課題だ。LLMONのアプローチが実用化されれば、ファインチューニングのみで安全性を担保できる可能性がある。自社でモデルを後学習・カスタマイズしている企業はこの手法の動向を追う価値があり、ベンダー選定の際も「命令とデータの分離機構」をセキュリティ要件として明示的に評価基準に加えることが望ましい。

背景・経緯

LLMはシステムプロンプト・ユーザー入力・検索結果・ツール出力などすべてのテキストを区別なく処理するため、悪意ある指示を外部データに埋め込む「間接プロンプトインジェクション」が継続的な安全性課題となっている。本論文はBasel Shbitaを筆頭著者とする11名の研究者チームによるものであり、後学習対象にはGranite-4.1モデルが用いられている。著者の所属については原文に記載がない。

LLMONについてよくある質問

Q. LLMONはどのようにしてプロンプトインジェクション攻撃を防ぐのか?

A. LLMONは命令とデータを明示的に分離し、識別子ベースの明示的な実行を要求するフレームワークだ。これを用いた後学習により、競合する命令や無関係なデータが文脈に含まれていても無視するよう学習させ、攻撃成功率を大幅に低減する。

Q. LLMONの後学習はどのモデルに対して効果が確認されたか?

A. 論文ではGranite-4.1の3Bおよび8Bベースモデルに対して効果が確認された。教師あり微調整と強化学習を組み合わせた後学習を実施している。

Q. LLMONの導入にアーキテクチャの変更は必要か?

A. 論文によれば、アーキテクチャの変更は一切不要で、通常の後学習プロセスのみで明示的な実行セマンティクスを学習させられるとしている。

関連記事