AI News JAPAN

世界のAIニュースを最速で把握できるメディア

Advertisement

Mistral Large 4、約1兆パラメータのMoEマルチモーダルモデルをHugging Faceで公開

公開:2026年10月30日, 最終更新:2026年10月30日

Mistralは2026年10月29日、マルチモーダル・多言語対応のMixture-of-Expertsモデル「Mistral Large 4」(通称:Le Chonk)をHugging Face上で公開した。総パラメータ数は約1兆、アクティブパラメータ数は約49B、コンテキストウィンドウは100万トークンを備える。

30秒サマリー

  • Mistral Large 4は約1兆総パラメータ・49Bアクティブパラメータ、100万トークンコンテキストのMoEマルチモーダルモデル
  • サイバーセキュリティ性能が特に高く、脆弱性の再現・パッチ適用タスクで82%を記録し、オープンウェイトモデル中最高のリジェクト率を維持
  • transformers・vLLM・llama.cppでDay-0サポート。2ビット量子化版はApple Silicon Ultra単体でも動作可能

Mistral Large 4の公開内容と主要性能

Hugging Faceの公式ブログが2026年10月29日付で伝えたところによると、MistralはマルチモーダルMoEモデル「Mistral Large 4」をHugging Face上で公開した。テキストと画像を入力として受け取りテキストを生成するモデルで、FP8とNVFP4の2つの公式バリアントが用意されているほか、UnslothおよびLlama.cppチームによるGGUF版も提供される。ライセンスはMITの派生であるMistral Ecosystem Open-Weight Licenseで、モデル・アズ・ア・サービス用途に制限を設ける。

アーキテクチャ面では、テキストデコーダーは72層、隠れ次元6,144、64アテンションヘッドで構成される。アテンションブロックはMulti-head Latent Attention(MLA)とDeepSeek Sparse Attention(DSA)インデクサーを組み合わせており、DSAは各クエリに対して最大2,048のキー位置を選択する。MoEブロックでは128エキスパートのうちソフトマックスルーターが各トークンに4つを選択し、常時稼働の共有エキスパートと合わせて1トークンあたり5エキスパートが活性化する。ビジョンエンコーダーには1.6BのPixtralエンコーダーを採用している。

サイバーセキュリティはモデルの際立った強みとされており、オープンソースソフトウェアの実際の脆弱性を再現してパッチを当てるタスクで82%を記録した。また、セキュリティコンテスト由来の40課題で構成されるCybenchでは93%を解決している。一方、JailbreakBench・StrongREJECT・AgentHarmのサイバープロンプトにおける平均リジェクト率はオープンウェイトモデルの中で最も高いとされており、防御的セキュリティ用途を主な適用領域として位置づけている。

推論環境については、transformers・vLLM・llama.cppがDay-0でサポートされる。NVFP4チェックポイントはNVIDIA Blackwell GPUを必要とするが、2ビット量子化(Q2_K)はApple Silicon Ultraの単体マシン(512GB統合RAM)でも動作するとされている。Artificial Analysis Intelligence Indexにおける総合順位は、2026年10月29日時点でオープンウェイトモデル中5位と報告されている。

Mistral Large 4の主な仕様・数値

  • 総パラメータ数:約1兆
  • アクティブパラメータ数:約49B
  • コンテキストウィンドウ:100万トークン
  • デコーダー層数:72層
  • MoEエキスパート数(全体/活性化):128エキスパート中4選択+共有1=計5アクティブ
  • ビジョンエンコーダー:Pixtral 1.6B(30層、隠れ次元2,048、16ヘッド)
  • Cybersecurity Cyber Index(脆弱性再現・パッチ):82%
  • Cybenchスコア:93%(40課題中)

出典: Hugging Face Blog(公式ブログ)

なぜ重要か(編集部の分析)

編集部の見方では、Mistral Large 4の公開は「オープンウェイトとクローズドモデルの能力差が縮まりつつある」という潮流を加速させる出来事だ。特にサイバーセキュリティ領域では、クローズドAPIが防御業務のためのプロンプトを誤検知してブロックするという課題に対し、オープンウェイトモデルが実用的な代替手段となる可能性を示している。100万トークンのコンテキストと画像入力への対応は、大規模コードベース解析や文書理解など、企業内の複合業務タスクへの適用を現実的な選択肢とする。

日本企業への示唆(編集部の分析)

日本企業にとって注目すべき点は、ライセンスがMIT派生であり、オンプレミスや自社クラウド環境への展開が比較的容易なことだ。特にセキュリティ運用チームやSOCでは、外部APIに依存せず自社環境で脆弱性解析・マルウェア分析を行えるモデルの選択肢が増えたことを意味する。また、TRLによるファインチューニングやRLによる小型モデルの蒸留が可能であることから、自社コードベースや社内ナレッジに特化したモデル開発の出発点としても活用できる。導入検討の際は、NVFP4がBlackwell GPU必須である点と、FP8やGGUF版の動作要件を事前に精査する必要がある。

背景・経緯

Mistralはフランス発のAIスタートアップで、オープンウェイトの大規模言語モデルを継続的にリリースしている。Mistral Large 4はMoEアーキテクチャとマルチモーダル対応を組み合わせた同社のフロンティアモデルの最新版であり、Hugging Faceブログはアーキテクチャの詳細・ベンチマーク結果・推論実装例を解説する形で公開した。

Mistral Large 4についてよくある質問

Q. Mistral Large 4のライセンス条件はどのようなものか?

A. Mistral Large 4はMIT派生の「Mistral Ecosystem Open-Weight License」の下で配布されており、モデル・アズ・ア・サービス用途に一定の制限が設けられている。

Q. Mistral Large 4はApple Siliconマシン単体で動作するか?

A. llama.cppチームが提供する2ビット量子化(Q2_K)版は、512GBの統合RAMを持つApple Silicon Ultraの単体マシンで動作するとされている。他の量子化モデルは分散推論が必要となる。

Q. Mistral Large 4のサイバーセキュリティ評価はどの程度か?

A. Artificial Analysis Cyber Indexにおける脆弱性再現・パッチ適用タスクで82%を記録し、Cybenchの40課題では93%を解決している。また、JailbreakBench等によるサイバープロンプトへの平均リジェクト率はオープンウェイトモデル中最高とされている。

関連記事