公開：2026年10月24日, 最終更新：2026年10月24日
ブラジルのAIスタートアップDharma-AIは、2026年10月21日付けの公式ブログで、小規模言語モデル（SLM）のトークナイザー語彙をドメイン特化型に再構築する手法「VocabX」について解説した。同社が本番運用中のポルトガル語小論文採点システムに適用したところ、ベースモデルを変更せずに推論コストを77%削減し、採点精度も向上したと報告している。
30秒サマリー
- Dharma-AIが開発したVocabXは、SLMの語彙をコスト基準で再構築し、推論コストを77%削減する手法
- Qwen3-4Bベースの本番採点システムで語彙を約15万2千から約6万5千トークンに圧縮、品質スコアも0.703から0.810に向上
- 既存手法（FVT・MWT・in-place BPE）が頻度基準で選択するのに対し、VocabXは生成コストを重みづけして語彙を選定する点が差別化要因
VocabXの手法と本番グレーダーへの適用結果
Dharma-AIは、Qwen3-4Bをベースにしたポルトガル語小論文自動採点システム（グレーダー）を本番環境で運用している。このシステムでは、元のQwen3-4Bトークナイザーが151,669エントリの語彙を保持しており、ドメイン固有の繰り返しフレーズ（JSONエンベロープ、評価フレーズなど）を多数のトークンに分割していた。また、モデルが生成するたびに使用頻度の低い語彙エントリも含めてスコアを計算するため、メモリ帯域幅の浪費が生じていた。
VocabXは「コスト基準の語彙選択」と「サブワード・マルチワードの二層最適化」を組み合わせた手法である。まず、トークン1つを削減する際の節約額を、そのトークンが出現するフィールド（システムプロンプト・ユーザー入力・モデル応答）ごとの重みで計算する。測定した事例では、応答側のトークン1つは入力側の7.4倍のコストに相当するとされ、語彙はその比率を反映して構築される。次に、サブワード層では域内単語の分割方法を再構築し、マルチワード層では繰り返し登場するスパン全体を「マクロトークン」として1トークンに圧縮する。繰り返しパターンの探索には、長単語・行全体・表現・完全な文・JSON等の構造を対象とした5種のマイナーを使用しており、同社によれば、この5種すべてを使わない場合、グレーダーでのトークン削減率が55.6ポイント低下するとしている。
同一ベースモデル・同一データ・同一学習レシピで7種類のグレーダーを学習し、RTX 5090とvLLM推論サーバーを使って500リクエストを実行した比較実験では、モデルの応答トークン数が平均350から101に減少し、推論コストが77.0%低下した。また採点精度と不適切答案の検出精度を組み合わせたベンチスコアは0.703から0.810に向上した。なお、語彙のサイズは約152,000から約65,000エントリに縮小された。
同社はまた、圧縮の方針が品質に影響を与えうる点を指摘している。最初の語彙設計では採点結果とJSON構造を単一のマクロトークンに融合したところ、ベンチスコアが0.689に低下した。採点値を独立したトークンとして残すことで1応答あたり2トークン増加したが、ベンチスコアは0.810まで回復し、コスト削減率も73.3%から77.0%に改善した。同社はこの知見を「モデルの判断そのものを担うスパンを圧縮する際には注意が必要」と総括している。
VocabXの主な仕様・数値
- ベースモデル：Qwen3-4B
- 元の語彙サイズ：約151,669エントリ
- VocabX適用後の語彙サイズ：約65,000エントリ
- 推論コスト削減率：77.0%
- 平均応答トークン数（最適化前）：350トークン
- 平均応答トークン数（最適化後）：101トークン
- ベンチスコア（最適化前）：0.703
- ベンチスコア（最適化後）：0.810
出典: Hugging Face Blog（公式ブログ）
なぜ重要か（編集部の分析）
編集部の分析：LLMのコスト最適化議論はモデルの量子化・蒸留・バッチ処理に集中しがちだが、VocabXはトークナイザーという「ベースモデルの前提条件」に介入することで、モデル自体を変えずに大幅な削減を実現した点が注目される。特に、生成トークンが入力トークンに比べて大幅にコストが高いというメモリ帯域幅上の非対称性を語彙選択基準に組み込んだアプローチは、他の手法との明確な差別化点となっている。VocabXに関する論文はまだ査読中であり、掲載内容が変更される可能性があると原文は明記している。
日本企業への示唆（編集部の分析）
編集部の分析：日本語・日本語ドメイン固有のSLMを本番運用する企業にとって、同様の手法は有力なコスト管理手段となりうる。特に、法務・医療・金融・製造など定型フォーマットの出力が多い業種では、JSONレスポンスや固定フレーズの圧縮効果が大きく出やすい。ただし原文が示すとおり、採点・分類・判断といった「モデルの核心的な出力を担うトークン」を圧縮しすぎると品質が劣化するリスクがあるため、語彙設計の段階で出力仕様と品質評価基準を連動させる設計プロセスが求められる。VocabXの論文が正式公開された際は内容を精査したうえで自社ユースケースへの適用可否を判断することが望ましい。
背景・経緯
一般用途向けの大規模言語モデル（QwenやGemmaなど）は、多言語・多ドメインに対応するため大きな語彙を持つトークナイザーを採用している。こうしたモデルをファインチューニングしてドメイン特化させる場合でも、トークナイザーは通常そのまま引き継がれる。既存の語彙適応手法としてFVT（高速語彙転送）、MWT（マルチワードトークナイゼーション）、Liquid AIのin-place BPEなどが文献上存在するが、いずれも頻度基準で候補を選択し、サブワードまたはマルチワードのいずれか一方のみを扱うとDharma-AIは指摘している。
VocabXについてよくある質問
Q. VocabXはどのようなモデルに適用できるか？
A. 原文では、QwenやGemmaなどの一般用途オープンソースモデルをファインチューニングしてドメイン特化させたSLM（小規模言語モデル）が主な対象として挙げられている。特に単一言語・単一フォーマットで運用されるシステムでの効果が大きいとされる。
Q. VocabXの論文はいつ公開されるか？
A. 原文の公開時点（2026年10月21日）では「まもなく公開予定」とされており、現在査読中で掲載内容が変更される可能性があると明記されている。具体的な公開日は原文では言及されていない。
Q. VocabXを適用すると品質はどう変わるか？
A. 原文の測定では、採点精度と不適切答案の検出精度を組み合わせたベンチスコアが0.703から0.810に向上した。ただし、採点値とJSON構造を単一マクロトークンに融合した初期設計ではスコアが0.689に低下しており、圧縮対象の設計が品質に影響することが示されている。
