AWS、AI検索の精度向上に向けWeb収集ツール「Crawl4AI」との連携手法を公開

アマゾン ウェブ サービス（AWS）は、生成AIサービス「Amazon Bedrock」の検索拡張生成（RAG）機能である「Amazon Bedrock Knowledge Bases」において、オープンソースのPython製クローラー「Crawl4AI」を活用したWebデータ前処理の連携手法とサンプル実装を公開した。

Bedrock Knowledge Basesには標準でWebクローラーコネクタが備わっているが、サイト共通のナビゲーションや定型文の混入を防いだり、独自のメタデータを付与したりするには制約があった。RAGアプリケーションの回答精度は取り込むデータの品質に依存するため、特定領域のみの抽出や構造化といった高度な前処理が求められていた。

今回公開された手法では、Crawl4AIのフィルターを用いてWebページから不要な要素を削ぎ落とし、見出しや表の構造を維持したMarkdownファイルを生成する。同時に、元のURLや収集日時などの属性をまとめたJSON形式のメタデータサイドカーを作成し、Amazon S3へ保存する。Amazon Bedrockの仕様に合わせ、メタデータサイドカーのサイズは1ファイルあたり最大10KBに制限される。その後、Bedrock Knowledge Basesのデータ取り込みジョブを呼び出し、標準設定である300トークン（20パーセント重複）などのチャンキング処理を経てベクトル）に変換し、意味の近さをもとに情報を探す技術。キーワードが完全に一致しなくても、文脈やニュアンスが似ているデータを見つけ出せる。">ベクトル検索の索引に登録する。

このワークフローはAWS Fargate上のタスクとしてコンテナで動作し、Amazon EventBridgeのスケジュール機能によって定期実行される。展開にはAWS Cloud Development Kit（AWS CDK）を利用でき、自社のWebコンテンツを最新の状態に保ちながら高精度な検索基盤へ安全に反映できる構成となっている。