コスト90％減は本当!? 難解なクラウド検索を激変させたAIの正体

「複雑怪奇なクラウド資産を普段の言葉で質問するだけで一発検索できる」「しかも初期試作からコストを90％も激減させた」――そんな都合の良すぎる話が本当にあるのだろうか。クラウドセキュリティ企業のOrca Securityが発表した新機能に、思わず疑いの目を向けた関係者も少なくないはずだ。

だが、同社が明かした一次情報を見る限り、単なる大風呂敷ではなさそうだ。同社はAmazon Bedrockを活用し、自然言語で検索できる「Discovery AI」を構築。初期の試作環境と比較して、クエリコストを90％、入力トークン数を93％削減し、応答時間も75％短縮したというから驚きだ。

もともと対象となる検索基盤「Sonar」は900種類以上のモデルや18種類の演算子を抱える難解な代物で、初期の試作では1処理あたり約200万入力トークンを消費し、応答に約60秒も要していた。これを解決するため、同社は9段階のパイプラインを設計。IPアドレスやCVE識別子などは正規表現によるルールベースで処理してLLM推論を回避し、Titan Text EmbeddingsとCohere Rerank 3.5で文脈を絞り込んだ。さらに高推論なClaude Haiku 4.5と低コストなAmazon Nova 2 Liteを適材適所で使い分け、社内専門家が即座に修正例を反映できる体制まで作り上げたのだ。

ここからは編集部の推測だが、この劇的な効率化の鍵は「AIにすべてを任せない割り切り」にあったと考えるのが自然だ。定型処理をルールベースへ逃がし、検索コンテキストを極小化したことが、トークン消費93％減という驚異的な数字に直結したとみられる。また、専門家が手動で直した結果を即座に反映するUIを用意した点からも、モデル頼みではなく泥臭いフィードバックループこそが実用化の決め手になった可能性が高い。

確かなのは、パイプラインの工夫とモデルの使い分けによって大幅なコスト削減と高速化を両立させたという事実だ。一方で、この仕組みが多種多様な問い合わせのすべてにおいてどこまで高い検索精度を維持し続けられるのかは、今後の実運用を見守る必要があるだろう。