AIの重複読み込みを防ぎ利用費を約6割削減、AWSがBedrockの新手法を公開

Amazon Web Services（AWS）は自社の機械学習ブログで、クラウド基盤「Amazon Bedrock」上でOpenAIのモデルを動かす自律型AIエージェントの入力費用を抑える設計手法を解説した。対話やツールの実行履歴が増えるたびに同じ文脈を再計算する問題を、入力内容を一時保存するキャッシュ機能によって解消し、検証では入力費用を約6割削減できたとしている。

自律型AIは次の行動を決定するたびに、指示文やツールの定義、過去のやり取りを含む全履歴をモデルへ送り直す必要がある。このため、やり取りが重なるにつれて入力トークン数が急増し、利用者の費用負担が増大していた。これに対し、プロンプトキャッシュ機能は入力時の計算状態を保持し、次回以降に同じ文章が送られた際にその状態を再利用する。対象となる共通部分は最低1,024トークンから利用できる。

キャッシュにはBedrock側が自動で保存箇所を判断する暗黙的な方式と、コード側で境界を指定する明示的な方式がある。AWSは両者の併用を推奨している。指示やツールの定義など約4,000トークンの共通部分を明示的に指定したテストでは、初回に4,120トークンを書き込み、以降の要求ではその内容を読み出すだけで処理できた。6ターンの検証では、「GPT-6 Astra」において暗黙的な方式で約62パーセント、明示的な方式で約61パーセントの入力費用削減を確認したという。

途中で新しいツールを追加する場合への対策として、初期定義を変更せずに「additional_tools」として追加する方法や、事前にキャッシュを生成してから複数の補助AIへ処理を分散させる手順も紹介された。また、キャッシュ導入時には指示やツール定義の流出リスクに留意し、適切なガバナンス体制を敷く必要があるとしている。