公開：2026年10月19日, 最終更新：2026年10月19日
Sai Kiran Bathula氏は2026年10月15日、小型・三値言語モデル向けに訓練不要の固定16MB語彙テーブルを用いる手法をarXivに投稿した。Gemma 3 270M相当のアーキテクチャで検証した結果、ノートPC上で毎秒615〜740トークンを生成し、浮動小数点モデルの8ビットGGUFと比べて5〜6倍の速度、7分の1のメモリ使用量を達成したと報告している。
30秒サマリー
- 小型LLMで最大パラメータ比率を占める埋め込みテーブルを、16MBの固定512ビットコードに置き換える手法を提案
- 三値BitNet b1.58ボディと組み合わせるとモデル全体が46MBになり、ノートPCで毎秒615〜740トークンを生成
- 学習済みテーブルに比べて稀少語で1.7〜2.3 nats優位、訓練後の1万語追加コストも3%に抑えられると報告
arXiv:2610.22428が示す固定語彙テーブルの実験結果
論文は、Gemma 3 270Mにおいて埋め込みテーブルが268Mパラメータ中168Mを占めること、かつ量子化後もテーブルは16ビットのまま残るため圧縮済みモデルファイルの大部分になるという問題意識から出発している。著者はこの埋め込みテーブルを、主成分射影と符号二値化によって事前学習済み埋め込みから一度だけ生成した512ビットコードの固定テーブル（16MB、訓練パラメータなし）に置き換え、同一の2.05Bトークンで同条件の訓練を実施した。
検証損失では学習済みテーブルが0.20 nats優位であり、訓練可能パラメータは2.6倍多いものの、LAMBADA・HellaSwag・PIQAでは固定テーブルモデルが同等か上回る結果が得られた。ARC-Easyのみ学習済みテーブルが有利だったと報告されている。
固定テーブルの三値BitNet b1.58ボディ版はモデル全体で46MBのファイルサイズとなり、ノートPCのCPU上で62MBのメモリを使用しながら毎秒615〜740トークンを生成した。これは同等の浮動小数点モデルの8ビットGGUFと比較して5〜6倍の速度、7分の1のメモリ消費に相当すると論文は述べている。また、学習済みテーブルが訓練後の1万語追加で43%の性能劣化を示したのに対し、固定テーブルは3%のコストで追加を受け入れられたとされる。論文では重みデータ・学習データ・全評価回答を公開している。
出典: arXiv cs.CL（論文）
なぜ重要か（編集部の分析）
編集部の見方として、埋め込みテーブルという「見落とされがちなコスト源」を固定化するだけで、小型LLMの実行ファイルサイズと推論速度が劇的に改善できる可能性を示した点が重要だ。既存の量子化（GGUF等）と組み合わせるのではなく、テーブル設計そのものを変えるアプローチであり、モデル配布コストやエッジデバイスへの展開ハードルを根本から下げうる。
日本企業への示唆（編集部の分析）
編集部の分析として、ノートPCのCPUのみで実用的な推論速度を達成できるとすれば、クラウドAPIへの依存を減らしたいオンプレミス志向の日本企業や、IoT・製造ラインへのAI組み込みを検討するメーカーにとって参照価値が高い。特に訓練後の語彙拡張コストが低い点は、専門用語や製品固有語を追加したい業種（医療・法務・製造）に直結する。ただし本論文はプレプリント段階であり、独立した再現検証が行われていない点には注意が必要だ。
背景・経緯
近年、1億〜10億パラメータ規模の小型言語モデルをエッジ端末や組み込み機器で動かす需要が高まっているが、語彙埋め込みテーブルがパラメータ総数の過半を占めるケースが多く、量子化後も16ビット精度で残ることが軽量化の障壁になっていた。BitNetに代表される三値重み（−1/0/+1）モデルは整数演算で推論できる利点があるが、埋め込み部分の扱いが課題として残っていた。本論文はその課題に正面から取り組んだ研究とみられる。
arXiv:2610.22428についてよくある質問
Q. arXiv:2610.22428の固定語彙テーブルは、通常の学習済みテーブルとベンチマークでどう違うか？
A. 論文によると、検証損失では学習済みテーブルが0.20 nats優位だが、LAMBADA・HellaSwag・PIQAでは固定テーブルモデルが同等か上回り、ARC-Easyのみ学習済みテーブルが有利だった。
Q. arXiv:2610.22428の手法を使うとどのくらいのメモリで推論できるか？
A. 三値BitNet b1.58ボディと組み合わせた場合、ノートPCのCPU上で62MBのメモリで動作し、毎秒615〜740トークンを生成できると論文は報告している。
Q. arXiv:2610.22428では訓練後の語彙追加はどう扱われているか？
A. 論文によると、固定テーブルは訓練後に1万語を追加しても3%のコストで受け入れられた一方、学習済みテーブルは43%の性能劣化を示したとされている。
