グーグルのビッグクエリ、AIの使いすぎを防ぐ利用量の上限管理を提供
要点 3行
- 米グーグルは、ビッグクエリの生成AI機能で利用量を制限できるトークンベースのコスト管理機能を一般提供した。
- プロジェクトや利用者ごとに日次クォータを設定でき、上限に達した際はクエリを停止して予期せぬ請求を防ぐ。
- 過去の消費履歴の確認や、実行前にデータ量を測定する関数も備え、計画的な予算管理を支援する。
米グーグル・クラウドは、データ分析基盤「BigQuery」内の生成AI機能について、トークン消費量を制限して予算超過を防ぐコスト管理機能を一般提供(GA)したと発表した。SQLクエリから直接大規模言語モデル(LLM)を呼び出す処理において、日ごとの利用上限を設定できるようにし、予期せぬ費用の発生を抑える。
BigQueryではSQL文を用いて大量のデータを対象に文章生成や感情スコア測定などのAI処理を一括実行できるが、課金がトークン単位で行われるため、処理規模の拡大に伴う予算管理が課題となっていた。今回の機能では、Google CloudのIAMクォータ管理機能を通じて、プロジェクト単位およびユーザー単位で計4種類の日次クォータを設定できる。全リージョンの利用量が合算されるグローバル仕様となっており、監視外のリージョンで費用が膨らむ事態を防ぐ。
クォータの対象には「AI.GENERATE」や「AI.IF」などの生成処理を行う関数が含まれ、モデルの推論過程で消費される思考トークンも出力上限の対象として計上される。一方で、安価な別モデルで動作する埋め込み関数は対象外とした。上限に達した場合は処理を自動停止する仕組みで、設定はコンソールのほかAPIやTerraformからも行える。あわせて、課金発生前にデータ量を測定できる「AI.COUNT_TOKENS」関数も提供し、事前の試算と計画的な利用を後押しする。
この記事は Google Cloud ブログ (AI)の発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く