30秒サマリー
- テキストと画像が混在する入力では、テキスト単独時より平均19.6%性能が低下することが42モデルの検証で判明
- 推論特化モデルはギャップが平均10.1%と小さく、非推論モデルの25.5%と明確な差がある
- プロンプト工夫やスケールアップだけでは解消できず、TokenSwapを訓練に組み込む手法が有効と示された
何が起きたか
Andong Huaら8名の研究者は2026年5月、arXivに論文「TokenSwap」を公開した。同論文は、マルチモーダル大規模言語モデル（MLLM）において、意味的に同等なテキスト入力と画像交じり入力の間で生じる性能差を「モダリティギャップ」と定義し、その実態を体系的に測定した研究である。
研究チームはTokenSwapと呼ぶ手法を開発した。これはテキスト中の概念語を意味的に対応する画像トークンで置き換え、テキストと視覚トークンが交互に並ぶ入力列を生成するものだ。この手法を用いてMMLUなどの既存テキストベンチマークを「画像交じり」版に変換し、TokenSwap-Benchを構築した。
42のMLLMを対象とした評価では、テキストのみの入力から画像交じり入力へ切り替えると、モデルによって4.2%から最大47.4%の性能低下が観察され、平均では19.6%（標準偏差±3.3%）の低下となった。推論特化モデルは平均10.1%のギャップにとどまった一方、非推論モデルは平均25.5%と大きかった。プロンプト戦略の変更や学習計算量のスケールアップだけではギャップを安定的に縮小できないことも示された。訓練時にTokenSwapを組み込む方法がギャップを効果的に軽減しつつ、テキスト単独および視覚言語タスクの性能を維持できると論文は結論づけている。
原典ハイライト
42モデルの実測で「テキスト→画像交じり」への切り替えによる平均19.6%の性能低下を確認。推論モデルのギャップ（10.1%）は非推論モデル（25.5%）の約4割にとどまり、プロンプト工夫・スケールアップでは解消できないことを実証した点が核心。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
マルチモーダルLLMは「テキストで高精度なら画像入力でも同等に機能する」という前提が成立しないことが、大規模な実証で裏付けられた。企業が製品・業務にMLLMを組み込む際、テキスト単独での評価スコアを性能の代理指標として使うと、実運用で想定外の精度劣化が起きるリスクがある。特に画像・図表・スキャン文書を扱う業務では、モダリティギャップが直接的なビジネスリスクに直結する。
日本企業への示唆
日本企業がマルチモーダルLLMを導入・評価する際、以下の点を考慮すべきだ。第一に、PoC段階でテキストのみの評価を本番性能の根拠とすることを避け、実際に使用するモダリティ（画像交じり入力）で必ずベンチマークを取得すること。第二に、モデル選定では推論特化モデルがギャップが小さい傾向があることを踏まえ、画像入力が多い用途では推論モデルを優先候補とする検討が有効だ。第三に、ベンダーから提供されるモデルの訓練時にTokenSwap的な手法が採用されているかをRFP等で確認することが、調達精度の向上につながる。社内開発・ファインチューニングを行う場合は、画像交じりデータを訓練に組み込むことが対策として有効と本論文は示唆している。
背景・経緯
MLLMはテキスト・画像を統合処理できるとして急速に普及しているが、モダリティ間の性能一貫性についての系統的な検証は限られていた。本研究はMMLUなど確立されたテキストベンチマークを画像交じり形式に変換することで、既存の評価インフラを活用しながらモダリティギャップを定量化する枠組みを提案した点で新規性がある。論文はarXiv cs.CL・cs.CVカテゴリで公開されており、査読誌掲載の有無は原文では言及がない。
