公開:2026年10月17日, 最終更新:2026年10月17日
拡散型言語モデル(Diffusion Language Model / DLM)は、画像生成で広く使われてきた「拡散モデル」の枠組みを、テキスト生成へ応用した非自己回帰型の言語モデルである。従来のLLMが文章を左から右へ1トークンずつ順番に生成するのとは根本的に異なる設計思想を持つ。
概要
自己回帰型言語モデル(GPTシリーズなど)は、テキストを先頭から1トークンずつ確定させながら生成する。これに対してDLMは、ノイズ状態またはマスク状態の初期データから出発し、反復的なデノイジング(ノイズ除去・復元)プロセスを通じてテキスト全体を並列的・段階的に生成する。自己回帰型モデルに対する「非自己回帰型(Non-Autoregressive)」の対立概念として位置づけられ、同一カテゴリの言語モデルとしての研究・実用化が2022年以降本格化している。
仕組み・ポイント
生成アプローチは大きく二種類ある。連続型はガウスノイズのベクトルから反復デノイジングを行い、連続的な潜在表現を経て最終的に単語へ変換する方式で、Diffusion-LM(2022年、スタンフォード大学)が先駆けとなった。離散型/マスク型はテキスト全体または一部を`[MASK]`トークンで隠した状態から始め、反復的な非マスク化処理によって並列で単語を確定させる方式で、LLaDAなどが該当する。
主要な特徴は以下の三点にまとめられる。
- 並列生成による高速化の可能性: 複数トークンを一括処理できるため、条件によっては従来の逐次生成より高速になりうる。
- 精細なテキスト制御: 構文や属性、特定フォーマットなどの外部制約を考慮しながら段階的にテキストを整形できる。
- 双方向文脈と「逆転の呪い」の克服: 双方向アテンション構造を採用できるため、自己回帰型モデルが苦手とする逆方向推論(AからBが導けてもBからAを導けない問題)に対する堅牢性を持つ。
一方で、複数ステップのデノイジングが必要なため、ステップ数や実装によっては推論時の計算コストや遅延が増大するという課題も存在する。
なぜ今注目されているのか
2022年のDiffusion-LM論文以降、研究が加速し、2025年から2026年にかけて実用規模のモデルや商業展開が相次いでいる。中国人民大学・アリババグループ等の研究チームは2025年2月、80億パラメータ規模のオープンウェイトモデル「LLaDA」を発表し、同規模の自己回帰型モデル(LLaMA3 8Bなど)と同等水準の指示追従性・文脈理解能力を示した。商業面ではInception Labsがコード生成向けの「Mercury / Mercury Coder」を2025年2月に発表し、Google DeepMindも同年5月のGoogle I/O 2025で「Gemini Diffusion」を紹介した。日本では株式会社ELYZAが日本語特化型の「ELYZA-LLM-Diffusion」を2026年1月に公開している。また、UC BerkeleyやUIUCなどの研究チームが2026年2月にDLMの学習・推論・評価を統一するオープンソースフレームワーク「dLLM」を発表しており、開発環境の整備も進んでいる。
日本企業への示唆
ELYZAが日本語特化モデルを公開したことは、DLMが研究段階から国内実用展開の段階へ移行しつつあることを示している。精細なテキスト制御や双方向推論の堅牢性は、法的文書・構造化レポート・コード生成など制約の多い業務用途と親和性が高く、自己回帰型モデルの代替または補完として評価する価値がある。一方、推論ステップ数に起因するレイテンシの問題はリアルタイム応答を要するシステムへの組み込みで障壁になりうるため、用途ごとに自己回帰型モデルとの比較検証を行うことが現実的な導入判断の前提となる。
※ 本ページはAI News JAPAN編集部が最新の動向を踏まえて解説したものです。内容は随時見直します。


