Self Route（セルフルート）という手法が注目されています。
大規模言語モデル（LLM）は、自然言語処理の分野に革命をもたらしました。これらのモデルは、人間の言語を理解し生成する能力を持っています。しかし、長文脈の処理には依然として課題が残されています。
そこで手法について解説します。
長文脈処理の課題
まず、長文脈の処理には計算負荷とコストの問題があります。そこで、性能と効率性のバランスを取る新しいアプローチが求められています。
一つの有望な手法が検索拡張生成（RAG）です。RAGは、クエリに関連する情報を取得しその文脈内で回答を生成します。
それに対してすべてプロンプトに打ち込む方法です。
例えばGPT-4oやGemini-1.5などのLLMは長文を直接処理できる能力が向上しています。
そのため処理は可能ですがコスト面で建設的とはいえません。
Self-Route（セルフルート）メソッドの登場
そこで、Google DeepMindとミシガン大学の研究者たちが、Self-Route（セルフルート）という新手法を提案しました。この手法は、RAGと長文脈LLM（LC）の長所を組み合わせています。
Self-Route（セルフルート）の仕組みは次の通りです。
まず、クエリと取得した情報チャンクをLLMに提供します。そして回答可能かどうかを判断します。
そこで回答可能と判断された場合はRAGの回答を使用。もしもそうでない場合はLCに全文脈を与えて詳細な回答を得ます。
この手法により、長文処理できるときは長文処理。別にそこまででもないと判断した時は、RAGを使い計算コストを大幅に削減。その結果、高い性能を維持させるという手法です。
Self Route（セルフルート）評価結果と性能分析
Self-Route（セルフルート）の評価では、Gemini-1.5-Pro、GPT-4、GPT-3.5-Turboの3つのLLMを使用しました。結果、LCモデルはRAGを一貫して上回る性能を示しているようです。
例えば、Gemini-1.5-Proでは7.6%、GPT-4では13.1%、GPT-3.5-Turboでは3.6%、LCがRAGを上回りました。しかし、RAGのコスト効率の高さは依然として大きな利点です。
Self-Route（セルフルート）は、LCモデルと同等の性能を維持しつつ、コストを大幅に削減しました。Gemini-1.5-Proでは65%、GPT-4では39%のコスト削減を達成しています。
また、RAGとLCの予測の重複度も高く63%のクエリで同一の予測結果が得られました。
この結果は、セルフルートが多くのクエリでRAGを活用していることを示しています。そして複雑なケースのみうまくロングコンテキストを使用できることを示しています。
※LC:ロングコンテキスト
RAGの限界と改善点
研究チームは、RAGの失敗パターンも分析しました。多段階の推論が必要な場合や、一般的・暗黙的なクエリ、長く複雑なクエリなどが課題として挙げられました。
これらの分析結果から、思考の連鎖プロセスの組み込みやクエリ理解技術の向上など、RAGの改善点が明らかになりました。
結論
こういった研究はRAGとLCモデルの包括的な比較を行い、長文脈LLMの性能と計算コストのトレードオフを明らかにしています。LCモデルは優れた性能を示す一方、RAGは低コストと特定の利点を持っています。
Self-Route（セルフルート）メソッドはRAGとLCの長所を効果的に組み合わせる技術です。その結果、LCと同等の性能を大幅に低いコストで実現しました。この手法は、長文脈処理の課題に対する有望なソリューションとなる可能性があります。
