AIがコードを読み直す無駄を省き、利用量を最大5分の1に減らす検索基盤「XERJ」が登場

ソースコードを無償で一般に公開し、誰でも自由に利用や改良、再配布ができるようにした仕組み。">オープンソースプロジェクトのxerj-orgは、ソフトウェア開発を行うAIエージェント向けに、必要なコードのみを抽出して提供するローカル検索基盤「XERJ」を公開した。AIがファイルを1つずつ全文読み込むことで発生するトークン消費の浪費を抑え、開発作業の効率化を図る。

AIエージェントが従来の検索コマンドなどでコードを探す場合、ファイル全体をコンテキストに読み込むため、測定では最大106万トークンを消費することが課題となっていた。また、AIが記憶にないAPIを扱う際は試行錯誤のループに陥りやすい。XERJは類似するオープンソースのリポジトリなどをあらかじめ自動でインデックス化し、必要な箇所のみを抽出してAIに渡すことでこの問題を解消する。8つの課題と4言語を用いた制御実験では、16問すべてを解決する同じ成功率を維持しながら、出力トークン数を2.7倍削減した。日常の現場利用でも約5倍の削減が報告されているほか、未学習のRustライブラリを扱った検証では、記憶のみのAIが0問正解だったのに対し、検索を併用したエージェントは9問すべてを解決したという。

本ツールは単一の実行ファイルとして動作し、構文解析ツールのtree-sitterを用いてコードを行番号や構造情報とともに処理する。プログラムのソースコードだけでなく、PDFやCSV、SQLite、ログデータなど多様な形式をコマンド1つで判別して索引を作成できる。ElasticsearchのAPIと互換性を備えるほか、AIの外部ツール接続規格であるModel Context Protocol（MCP）にも対応しており、既存のクライアントや各種エージェント環境から呼び出して利用できる。