30秒サマリー
- 約1兆パラメータ・コンテキスト長100万トークンのオープンソースマルチモーダルLLMが登場
- テキスト・画像・音声を単一モデルでネイティブ処理し、エージェント機能にも対応
- Hugging Face経由で即日推論可能、企業のファインチューニングによるドメイン適応を想定
何が起きたか
Thinking MachinesはHugging Face上で大規模マルチモーダルLLM「Inkling」を2026年7月15日に公開した。総パラメータ数は975B（約1兆）で、アクティブパラメータは41Bのデコーダー専用Mixture-of-Experts（MoE）アーキテクチャを採用する。テキスト・画像・音声の3モダリティをネイティブに受け付け、コンテキストウィンドウは最大100万トークン。学習データは45兆トークン（テキスト・画像・音声・動画を含む）とされている。
アーキテクチャ上の特徴として、相対アテンション、グローバルアテンションとスライディングウィンドウアテンションを組み合わせたハイブリッドアテンション、短い1D畳み込み（SConv）、そして常時稼働の共有エキスパートを含むMoE構造を備える。画像はMLPパッチファイアで、音声はメルスペクトログラムの離散ビンに変換してそれぞれ埋め込む設計で、別個の大型エンコーダーを用いない比較的シンプルなマルチモーダルタワーを採用している。
推論インフラについては、Hugging Faceの`transformers`（v5.14.0）、SGLang、vLLM、llama.cppで初日からサポートされる。フルBF16チェックポイントは約2TBのVRAMを必要とするが、NVFP4量子化版は約600GBで動作する。Hugging Face Inference Providersを通じたサーバーレス推論も利用可能で、リリースから2時間は推論コストが無償提供されるとブログは述べている。音声のInference Providersサポートは現時点では開発中とされる。
原典ハイライト
ブログでは「ファインチューニングによるドメイン適応を目的として設計されており、マルチモーダル推論アプリケーションの新たな波を構築するのに適している」と明記。推論努力量（reasoning_effort）をnone〜maxの7段階で制御できる点も強調されている。
出典: Hugging Face Blog（公式ブログ）
So What?（なぜ重要か）
これまで大規模マルチモーダルモデルはクローズドAPIでしか利用できないケースが多かったが、約1兆パラメータ規模のモデルがオープンウェイトで提供されることで、企業が独自データでファインチューニングし、自社環境にデプロイする選択肢が現実的になる。テキスト・画像・音声を単一モデルで扱えることは、複数モデルの連携コストや複雑性を削減できる点でも意義が大きい。
日本企業への示唆
日本企業にとって即時に検討すべき点は二つある。第一に、製造・金融・医療など自社ドメインの画像・音声・テキストデータを組み合わせたファインチューニングによる業務特化モデルの構築可能性だ。設計図と音声指示の同時解析、医療画像と診療メモの統合推論などのユースケースが射程に入る。第二に、インフラコストの見極めだ。BF16版は2TB、NVFP4版でも600GBのVRAMが必要であり、オンプレ導入にはマルチノードGPUクラスタが前提となる。まずはHugging Face Inference Providersのサーバーレス推論でユースケース検証を行い、本格導入を判断するアプローチが現実的とみられる。
背景・経緯
Thinking Machinesはオープンウェイトモデルの開発組織で、今回のInklingはHugging Faceのエコシステムに直接統合する形でリリースされた。ブログはHugging Faceのエンジニア複数名との共同執筆という形式をとっており、コミュニティとの連携を前面に出している。なお、動画処理のアーキテクチャは備えているものの、ブログ時点ではアウトオブボックスの動画性能は未評価とされている。
