AIが間違える原因をログから5秒で特定 正解データ不要の新手法が登場
要点 3行
- 正解データやコード改変なしで、AIの回答処理ログから不具合箇所を特定する新手法「RAGLog」が発表された。
- 3,134件の実行データで検証し、既存手法を上回る精度を達成。解析時間は約5秒、費用は約0.005ドルに抑えた。
- 障害再現ツールやデータセットを含めオープンソースとして公開され、システムの監視や修復への活用が見込まれる。
外部情報を検索して回答を生成するRAGシステムにおいて、実行ログのみから障害の発生箇所を特定する新手法「RAGLog」に関する論文が2026年11月4日に公開された。RAGは複数の処理段階が連動するため原因特定に手間がかかり、従来の評価手法では正解データや計測コードの埋め込みが必要だった。RAGLogはそれらを不要とし、ログの共通スキーマ化とルール、埋め込み、大規模言語モデルを組み合わせた検証で問題箇所を突き止める。
研究チームは5つのRAGパイプラインから取得した3,134回の実行データセット「RAGLog Faults」を構築し検証した。Claude Haiku 5.5を用いた場合、自然発生した障害に対するF1スコアは0.73を記録し、Claude Codeの0.58やCodexの0.52を上回った。人工的に注入した障害でも0.84の高い数値を達成している。
1回あたりの解析は約5秒、費用は0.005米ドルで完了し、既存のエージェント手法と比べて低コストかつ低遅延を実現した。RAGLogはオープンソースツールとして公開されている。
この記事は arXiv cs.AIの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開くアプリなら毎朝1件、注目のAIニュースが届きます
記事中の専門用語をタップすると、その場で辞典の解説が開きます。無料・広告のみ。
