公開:2026年10月11日, 最終更新:2026年10月11日
Matryoshka表現学習(MRL: Matryoshka Representation Learning)とは、1つの高次元埋め込みベクトルの中に、複数の低次元表現を入れ子構造として同時に学習させる機械学習の手法である。ロシアの民芸品マトリョーシカ人形になぞらえて命名されており、ワシントン大学・Google Research・ハーバード大学などの研究者らによってNeurIPS 2022で発表された。
概要
従来の埋め込みモデルは、1536次元といった固定サイズのベクトルを出力する。このサイズを変更するには再学習やインデックスの再構築が必要となり、システムの計算制約に柔軟に対応できないという課題があった。MRLはこの問題を解決するために設計された手法で、1つのモデルから、用途に応じて動的にサイズを切り詰めて使える埋め込みベクトルを生成できる。ベクトルの先頭部分(prefix)に最も重要な情報を凝縮し、後続の次元が詳細情報を補完する構造が特徴である。
仕組み・ポイント
入れ子状の最適化(Nested Optimization)
通常の埋め込みモデルが最終的な次元数全体に対して1つの損失関数を最小化するのに対し、MRLは8・16・32・…・2048次元といった複数の次元数のサブセットそれぞれに対して個別に損失を計算し、それらの総和をマルチタスク損失として最適化する。これにより、どの次元数で切り詰めても機能する表現がひとつのモデルに埋め込まれる。
動的な切り詰め(Truncation)
学習後は再学習不要で、ベクトルの先頭から任意の次元数で切り詰めて利用できる。ストレージ容量・検索速度・メモリ帯域といったインフラ制約に応じてベクトルサイズをその場で調整できる点が実用上の大きな利点となる。
性能の維持
論文では、ImageNet-1Kの分類タスクにおいて精度を維持したまま埋め込みサイズを最大14倍縮小でき、大規模検索では最大14倍の高速化を実証している。独立して訓練された同次元の固定モデルと同等以上の精度を、切り詰めたベクトルで達成できることが示されている。
AdANNS(適応型近似最近傍探索)
MRLの柔軟性を活かした応用フレームワークとして、検索空間の刈り込み(インデックス構造)と近似距離計算(量子化)を分離し、それぞれに異なる次元のMatryoshka表現を適応的に割り当てるAdANNSが提案されている。計算量と精度のトレードオフを段階的に最適化する仕組みである。
なぜ今注目されているのか
MRLは2022年の論文発表にとどまらず、主要な商用・オープンモデルへの採用が相次いている点で実用段階に入っている。OpenAIは2024年1月発表の`text-embedding-3-small`および`text-embedding-3-large`にMRLを採用しており、`text-embedding-3-large`を256次元に切り詰めた場合でも従来モデル`text-embedding-ada-002`(1536次元)の性能を上回ることが示されている。またGoogleは2026年10月に発表したオープンなマルチモーダル埋め込みモデル`EmbeddingGemma 2`にMRLを採用し、768次元から128次元まで動的な切り詰めが可能で、256次元でも画像・動画・音声の検索精度を約95%維持できるとしている。Google検索の裏側でも活用されているとされる。推薦システムや画像生成モデルへの「入れ子構造」概念の応用も広がっており、埋め込み表現の設計思想として定着しつつある。
日本企業への示唆
RAGや意味検索、レコメンデーションなど埋め込みベクトルを活用するシステムを構築・運用する企業にとって、MRL対応モデルの採用はインフラコストと検索精度のバランスを柔軟にコントロールできる実践的な選択肢となる。特にベクトルDBのストレージ費用やレイテンシが課題になっている場合、モデルの再学習なしにベクトル次元を縮小できる点は運用負荷の軽減に直結する。一方で、切り詰め後の精度はタスクや次元数によって異なるため、本番導入前に対象ドメインでの検証を行うことが不可欠である。OpenAIやGoogleの主要埋め込みAPIがすでにMRLを採用していることから、既存のAPIユーザーも設定変更だけで恩恵を受けられる可能性がある。
※ 本ページはAI News JAPAN編集部が最新の動向を踏まえて解説したものです。内容は随時見直します。


