RAGの追悼文：エージェントに殺され、コンテキストウィンドウに埋められた

概要

• AI検索技術の10年にわたる進化と限界の指摘
• RAG（Retrieval-Augmented Generation）アーキテクチャの普及と課題
• Fintoolでの高度なチャンク分割・検索・再ランキング手法の紹介
• RAGの構造的・運用上の限界と“カスケード障害”問題
• 新たなアプローチとしてエージェント型・直接検索手法への移行の兆し

RAGの誕生と限界

• ChatGPT 登場により、 LLMのコンテキストウィンドウ制約 が注目
• RAG （検索拡張生成）は、膨大な知識ベース対応のための 主流アーキテクチャ として普及
• 長文書のチャンク化 が必須となり、文書構造やデータの分断問題が顕在化
• Fintoolでは、 階層構造維持・表の一体化・クロスリファレンス保持・時系列一貫性・脚注紐付け など高度なチャンク分割を実装
• チャンクごとに メタデータ （文書種別、会計期、階層、表ID、企業ID等）付与で精度向上

検索・埋め込み・ハイブリッド手法の課題

• 埋め込みモデル は高次元ベクトル化で類似性検索を実現するが、 専門用語や数値表現 の扱いに難
• BM25 によるキーワード検索は、 正確な一致・専門用語対応・文書長正規化 で有利
• Fintoolでは ハイブリッド検索 （埋め込み＋BM25）を導入し、 動的重み付け・スコア正規化・RRF（Reciprocal Rank Fusion） で精度向上
• それでも 再ランキング 工程が不可欠で、 レイテンシ増大・コスト増・管理負荷 が発生

RAGの構造的限界と運用負担

• カスケード障害問題 ：チャンク化・埋め込み・BM25・ハイブリッド・再ランキング各段階で誤差が連鎖
• Elasticsearch等の運用負荷 ：大規模インデックス・再インデックス・クラスタ管理・バージョンアップの煩雑さ
• 構造的な問題点
  • コンテキスト分断 ：文書間・文書内の関係性の消失
  • 数値検索の非対応 ：数値表現やテーブルの意味理解不足
  • 因果関係の欠如 ：参照や会計項目間の因果追跡不可
  • 語彙ミスマッチ ：同義語や表現違いで検索漏れ
  • 時系列認識の弱さ ：期ズレや比較の混同

新潮流：エージェント型・直接検索の台頭

• 2025年5月、AnthropicのClaude Code が登場し、従来型RAGを使わず 直接ファイルシステム検索 を採用
• Ripgrep等のgrep系ツール によるライブ検索
  • インデックス不要、 正規表現 で高速・精密なパターンマッチ
  • ファイル種別やglobパターンで 柔軟なフィルタリング
  • 文脈付きの正確なヒット を即時返却
• 従来のRAGパイプライン （チャンク化・埋め込み・検索・再ランキング）を経ずに、 シンプルかつ高速な検索体験 を実現

まとめ：RAGの黄昏と次の時代

• RAGベースのインフラ は、技術的・運用的限界に直面
• エージェント型・直接検索 の進化で、 「文脈の全体把握」や「柔軟な情報探索」 が現実味
• 今後は 巨大なコンテキストウィンドウ と エージェントアーキテクチャ の成熟が、AI検索の主流に
• 過去数年かけて築いた RAG基盤 は、 次世代AIの波 により役割を終えつつある