検索ＡＩの費用は処理量で激変、Ｃｏｈｅｒｅが設備共有と専用の見極め方を解説

AI企業のCohereは2026年10月9日、テキスト埋め込みや検索結果の並び替え（リランク）を担うAIモデルの運用基盤について、共有型の従量課金環境と専用のプロビジョニング環境を適切に選択するための評価指針を公式ブログで公開した。1分あたりのリクエスト数（RPM）や見かけの単価比較だけでは最適な費用対効果を判断できないとして、リクエストごとの作業量やトラフィックの発生傾向に応じた選定手順を提示している。

同社によると、同じAIモデルであっても用途によって1回あたりの処理負荷は大きく異なる。例えば電子商取引（EC）の検索システムでは、商品情報をデータベースに登録する際、1回あたり約100件（1件あたり約200トークン）の商品説明をまとめて処理する高負荷なバッチ処理が発生する。一方、利用者が入力する検索クエリは短文1件の即時応答が求められる。また、関連性の高い候補を絞り込むリランク処理では、評価対象の候補数を20件から100件に拡大するだけで、1検索あたりの処理量が約4,400トークンから約2万2,000トークンへと急増する。

公開された試算例によると、NVIDIA A10 GPUインスタンス1基を24時間連続稼働させた場合、専用環境のほうが割安になる損益分岐点は、リクエストの内容次第で毎分4回程度から数万回まで大きく変化する。例えば毎分30リクエストのカタログ登録処理（毎分60万トークン相当）では、分岐点の目安である約20リクエスト毎分を上回るため、アクセス頻度が低く見えても専用環境のほうが経済的になるという。同社は、定常的な登録処理には専用基盤を割り当て、利用者のアクセス波が大きい検索には従量課金基盤を充てるなど、負荷特性に合わせた使い分けが重要だとしている。