30秒サマリー
- Stockmarkらの研究チームが日本語構造化文書解析に特化したマルチモーダルAIモデルを発表
- 推論特化モデルへの能力注入と「忘却制御」により、文書解析と質問応答の両能力を維持
- 強化学習（DAPO）の適用でSFTの性能上限を突破し、最終モデルをリリース
何が起きたか
株式会社Stockmarkを含む研究チーム（Chen氏ら5名）は2026年8月7日、arXivに論文「Stockmark-Nemotron-3-Nano-Omni-JapanDocReader」を投稿した。同モデルはNVIDIAの「Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16」を基盤モデルとして構築されており、日本語文書の構造化パース（解析・抽出）能力を付与することを主目的としている。
研究の核心的な課題は「能力注入と忘却制御」にある。推論特化型マルチモーダルモデルに新たな日本語文書解析能力を追加すると、既存のドキュメントVQA（視覚的質問応答）能力が劣化（忘却）する問題が生じる。論文では、構造化パースデータのみを用いる「パース中心SFT」、パースデータとVQAデータを混合する「混合SFT」、そしてタスクレベルの報酬で最適化する「パース中心強化学習（RL）」の3段階アプローチを検証した。
実験結果によれば、パース中心SFTは構造化文書解析の性能を大幅に向上させる一方でVQA能力の忘却を招き、混合SFTはこの忘却を軽減しつつほぼ同等の解析性能を保った。さらに混合SFTのチェックポイントにDAPOベースのパース中心RLを適用することで、SFTの性能上限を超える最終モデルが得られたとしている。学習データは、日本語文書VQAストリームとプログラム的な構造化文書解析ストリームという2つの合成データ生成パイプラインによって構築された。
原典ハイライト
論文アブストラクトは「パース中心SFTは構造化文書解析を大幅に改善するが、測定可能なVQA忘却を引き起こす。混合SFTはこの忘却を軽減しつつほぼ同等の解析性能を維持する。混合SFTチェックポイント上でDAPOベースのパース中心RLを適用することで、SFTの上限を超えた構造化文書解析を実現し、最終リリースモデルを生成した」と述べている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
日本語特有のレイアウトや文書構造に対応した高精度な解析AIが登場しつつあることを示す研究である。従来、新能力の追加による既存能力の劣化（破滅的忘却）は実用化の障壁だったが、混合学習と強化学習の組み合わせによってこの問題を制御できることが示された点が重要だ。基盤モデルの日本語文書対応を企業独自にチューニングするための技術的知見としても注目される。
日本企業への示唆
契約書・決算書・社内規程・申請書類など大量の日本語文書を扱う金融・法務・製造・流通業にとって、構造化パースAIの精度向上は業務自動化の直接的な推進力となる。自社でLLMをファインチューニングする際に「忘却制御」の手法（混合SFT＋強化学習）を参考にすることで、既存の汎用能力を損なわずに業務特化型モデルを構築できる可能性がある。また、合成データエンジンによる学習データ構築手法は、日本語文書データが十分に公開されていない領域での開発コスト削減にも応用できるとみられる。
背景・経緯
大規模言語モデル（LLM）への特定能力の追加ファインチューニングは、既存能力の「破滅的忘却」を引き起こすことが知られており、実用モデルの開発における長年の課題となっている。本研究はStockmarkが関与する産学連携型の取り組みとみられるが、原文では所属機関の詳細な記載はない。基盤モデルとして使用されたNemotron-3-Nano-Omni-30BはNVIDIAが提供する推論特化型マルチモーダルモデルであり、その日本語対応力を強化する形で本研究が位置づけられている。
