AI News JAPAN

世界のAIニュースを最速で把握できるメディア

Advertisement

Anthropic、AIの危険知識を外科的に制御する新手法「GRAM」を発表

30秒サマリー

  • AnthropicとAE Studioが、AIモデルの二重用途知識を「脱着可能なモジュール」として分離・制御する新技術GRAMを発表
  • 1回の学習で最大16通りの能力構成が可能となり、従来の複数モデル訓練に比べコストを大幅削減できる可能性がある
  • 現時点では初期研究段階であり、Claudeなど本番モデルへの適用はされていない

何が起きたか

Anthropicは2026年7月8日、AE Studioとの共同研究として、AIモデルが保有する二重用途知識(デュアルユース知識)を外科的に管理する新手法「GRAM(Gradient-Routed Auxiliary Modules)」を発表した。

GRAMは、大規模言語モデルの基盤となるTransformerアーキテクチャの各層に追加のニューロン群(モジュール)を付与する設計だ。訓練時、ウイルス学やサイバーセキュリティなど二重用途のテキストを学習する際には、汎用ウェイトを凍結し、対応するモジュールだけが更新される。その結果、危険知識は汎用ネットワーク全体に拡散せず、専用モジュールに集約される。展開時はモジュールを削除するだけで対応する能力を除去でき、信頼された用途ではオンのまま利用できる。研究では4カテゴリを定義し、1回の訓練で16通りの構成を実現した。

実験は合成データ・実データ・複数モデルサイズ(5000万〜50億パラメータ)の3段階で実施された。モジュール削除後の能力除去効果はデータフィルタリングと同等で、汎用性能への悪影響はほぼ見られなかった。また、悪意ある少量データによる知識の復元に対してGRAMはデータフィルタリング並みの耐性を示した一方、学習後に適用する「アンラーニング(忘却)」手法は少量のファインチューニングで容易に無効化されることも確認された。

Anthropicは本手法が初期研究段階にあることを明示しており、フロンティアスケールや本番訓練パイプラインでの検証は未実施、Claude各モデルへの適用もないと強調している。また、一部の二重用途能力は汎用知識と深く絡み合っており、いかなる手法でも完全分離が困難な可能性がある、という根本的な課題が残るとも述べている。

原典ハイライト

原文では「GRAMは1回の訓練コストで、通常は複数回の個別フィルタリング訓練が必要な多様な能力構成を実現した」と明記。モデル規模が大きくなるほどモジュールのオン・オフ差が拡大し、保護の回避が相対的に困難・高コストになることも示された。

出典: Anthropic Research(公式ブログ)

So What?(なぜ重要か)

現行のAI安全対策(拒否訓練・出力フィルタリング)はモデル内部の知識そのものを変えない。GRAMが実用化されれば、同一モデルを展開先の信頼度に応じて能力構成を切り替えられるようになり、AIのリスク管理が「ルール設定」から「知識レベルの物理的制御」へと進化する可能性がある。ただし現時点では研究段階であり、商用展開には至っていない。

日本企業への示唆

日本企業がAIを業務導入する際、安全性の根拠として「拒否設定」や「プロンプトフィルタ」だけに依存することのリスクが改めて浮き彫りになった。モデル内部の知識制御という概念は、将来的なベンダー選定・調達基準に影響しうる。自社開発や受託開発においても、「どの能力がどう管理されているか」をモデル構造レベルで問う姿勢が求められるようになるだろう。特に医療・防衛・インフラ領域でAIを活用する企業は、GRAMのような技術の実用化動向を継続的にウォッチし、将来のリスク管理要件に備えることが望ましい。

背景・経緯

Anthropicはこれ以前にも、化学・生物・放射線・核兵器に関する情報を学習データから除外する手法や、二重用途知識をモデルウェイトの分離可能な部分に限定する研究を行ってきた。GRAMはその延長線上に位置する取り組みで、コスト効率と柔軟な能力制御の両立を目指すものと位置づけられている。詳細はAnthropicのAlignment Scienceブログでも公開されている。