AI News JAPAN

世界のAIニュースを最速で把握できるメディア

Advertisement

27BクラスLLMがiPhoneで動作、スタートアップが1bit量子化で3.9GBに圧縮

30秒サマリー

  • 米PrismMLが270億パラメーターLLM「Bonsai 27B」を発表、スマートフォン上での動作を実現
  • 1ビット量子化によりモデルサイズを通常の54GBから3.9GBに圧縮、iPhone対応容量を達成
  • Apache 2.0ライセンスで商用利用可能なオープンソースモデルとして公開

何が起きたか

カリフォルニア工科大学発のAIスタートアップ企業PrismMLは2026年7月15日(現地時間)、270億パラメーター規模のLLM「Bonsai 27B」を発表した。「Qwen3.6 27B」をベースとしたマルチモーダル対応モデルで、Apache 2.0ライセンスによるオープンソースとして提供される。

27Bクラスのモデルは通常、16ビット精度で約54GB、4ビット量子化でも約18GBのメモリを占有するため、スマートフォンやノートPCでの動作は現実的でなかった。Bonsai 27Bはパラメーターの重みを1〜2ビット程度まで削減することでこの課題に対応した。

スマートフォン向けの「1-bit Bonsai 27B」は重みを「−1」と「+1」の2値で表現し、サイズを3.9GB(有効1.125ビット/重み)に圧縮。ノートPC向けの「Ternary Bonsai 27B」は「−1」「0」「+1」の3値表現で5.9GB(有効1.71ビット/重み)となる。同社によると、15のベンチマーク評価において、Ternary版はフル精度モデルの95%、1-bit版は90%の性能を維持したという。評価対象は知識・推論・数学・コーディング・指示追従・ツール使用・視覚認識の7分野にわたる。

原典ハイライト

PrismMLは「スマートフォン上で動作する初の27Bクラスモデル」と位置づけており、1ビット量子化によって27BモデルをiPhoneで実行可能な3.9GBまで圧縮した点が技術的核心。フル精度比90〜95%の性能維持を15ベンチマークで主張している。

出典: ITmedia AI+(報道)

So What?(なぜ重要か)

これまでクラウド依存が前提だった高精度LLMが、端末上(オンデバイス)で動作できる実用的なサイズに到達しつつあることを示す事例。エッジAIの技術的ハードルが大幅に低下したことで、通信コストやプライバシー上の制約からクラウドAIを使いにくかった用途でも、高性能な生成AIの実装が現実的な選択肢となる。

日本企業への示唆

日本企業がエッジAIを活用した新サービスを検討する際、本モデルは技術的実現性の判断材料になりえる。製造現場や医療・金融などの機密データを扱う領域では、データをクラウドに送らずに端末内で推論できることが規制対応やセキュリティ確保の面で有利となる。Apache 2.0ライセンスで商用利用可能なオープンソースである点は、ライセンスコストを抑えた自社組み込みも検討しやすい。ただし、ベンチマーク性能はあくまで同社が測定した数値であり、実務ユースケースでの検証は別途必要。端末のメモリ制約やNPU対応状況も実装前に確認すべき要素となる。

背景・経緯

大規模言語モデルのオンデバイス展開は近年注目されている技術的方向性だが、モデル規模が大きくなるほどメモリ制約が壁になっていた。PrismMLは以前にも8億パラメーターの「1-bit Bonsai」を発表しており(関連記事として原文に言及あり)、今回はそれを27Bクラスに拡張した形。ベースモデルには「Qwen3.6 27B」が使われている。