30秒サマリー
- 言語モデルによるインコンテキスト検索は、コーパス規模が拡大すると精度が崩壊する根本原因が特定された
- 研究チームが開発した0.6BパラメータモデルBlockSearchは、MS MARCOなど主要ベンチマークでベクトル検索と同等以上の性能を達成
- 7倍大きな競合モデルを上回りつつ、従来の密検索が苦手とするタスクでは3倍のスコアを記録
何が起きたか
2026年7月1日、Siddharth Gollapudi氏ら4名の研究者がarXivに論文「Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale」を投稿した。同研究は、言語モデル（LM）をベクトル検索の代替として用いる「インコンテキスト検索」を、実用規模である100万トークンのコーパス規模で初めて体系的に検証したものとされる。
研究チームは、コーパスが大規模化した際に検索精度が崩壊する原因を「アテンション希薄化効果」と定義した。これは、無関係なドキュメントがAttentionのSoftmax分母を支配し、正解ドキュメントのPre-Softmaxスコアが高いままであっても正規化後のスコアが低下する現象を指す。
この問題に対処するため、研究チームは0.6Bパラメータの言語モデル検索器「BlockSearch」を開発した。アーキテクチャと学習の改良により、学習時のコンテキスト長の最大10倍まで長さ汎化（length generalization）が可能になったという。さらに、長さを考慮したAttention Softmaxの調整とドキュメントレベルのスパースアテンションを導入することで、100万トークン規模においてMS MARCOやNQ（Natural Questions）といった広く研究されているベンチマークでベクトル検索と同等の性能を達成した。また、異なる類似性概念を要求するLIMITタスクでは、ベクトル検索を3倍上回るスコアを記録した。同時期に発表された競合モデルMSAと比較しても、パラメータ数が7分の1であるにもかかわらず性能で上回ったとしている。
原典ハイライト
論文は「アテンション希薄化効果」という根本原因を特定した上で、長さを考慮したAttention Softmaxとスパースアテンションという2つの改良を施すことで、100万トークン規模でのインコンテキスト検索をベクトル検索の実用的な代替手段として位置づけられると結論づけている。
出典: arXiv cs.CL（論文）
So What?（なぜ重要か）
これまで、大規模コーパスへのLLM直接検索は精度劣化が避けられないとされてきた。本研究はその障壁を技術的に突き止め、解決策を提示した点で重要だ。RAG（Retrieval-Augmented Generation）システムにおいて、ベクトルDBを必要とせずLM単体でコーパス検索が完結できる可能性が高まる。これは検索パイプラインの設計を根本から変え得る転換点となりうる。
日本企業への示唆
社内ドキュメント検索や製品マニュアルへの問い合わせシステムなどRAGを構築・運用している日本企業にとって、ベクトルDBの維持コストや構築工数を削減できる代替アーキテクチャの登場を意味する。特に、ベクトル類似度では捉えにくい専門的な概念検索（例：法令解釈、技術仕様の照合）に強みを示す点は注目に値する。ただし本論文はarXivの査読前プレプリントであり、実運用への適用にあたっては技術検証が必要。
背景・経緯
LLMの長文コンテキスト対応が進む中、ベクトルDBを使わずモデルに文書を直接与えて検索・回答させるインコンテキスト検索への関心が高まっている。しかし従来研究は主にプロプライエタリなシステムや小規模な再ランキングタスクに留まっており、実用的なコーパス規模での検証は不十分だったと論文は指摘している。
