第14回 学習と推論
作るお金と使うお金

AIには2つの工程がある

AIのモデルには、「作る」工程と「使う」工程があります。作る工程を学習(トレーニング)、使う工程を推論(インファレンス)と呼びます。

学習は、大量の文章やデータを読ませて、モデルの中のパラメータ(第13回)を少しずつ調整していく工程です。まず膨大な文章で次の言葉を予測する練習をする事前学習があり、そのあと人間の好みに合わせたり、特定の仕事向けに調整したりする工程(第10回のファインチューニングなど)が続きます。

推論は、完成したモデルに質問を入れて、答えを出させる工程です。私たちがチャットAIに話しかけるたびに、どこかの計算機で推論が行われています。

なお、日本語の「推論」は、ニュースでは主にこの「使う工程」の意味で使われます。第18回で扱う「推論モデル」の推論は「筋道を立てて考える」という意味で、別の言葉なので注意してください。

学習: まとめてかかる大きな投資

最先端のモデルの学習では、大量のGPU(第15回)を何週間、何か月と動かし続けます。計算機の利用料に加えて、電力、データの準備、そして何度も失敗しながら試す研究開発の費用もかかります。完成するまで売り上げは生まれないので、学習は会社にとって大きな先行投資です。

学習が終わると、モデルの中身(パラメータの値)はそこで固まります。私たちが使っている最中に、その場でどんどん賢くなっていくわけではありません。新しい知識を身につけさせるには改めて学習し直すか、第9回のRAGのように外から資料を渡す必要があります。

推論: 使うたびにかかる費用

推論の1回分の計算は、学習に比べればずっと小さなものです。ただし、質問されるたびに必ず発生します。読み書きする文章が長いほど計算も増えるので、多くのサービスでは料金がトークン(第6回)の数で決まり、入力と出力で単価が違うこともよくあります。

答えを素早く返すには、たくさんの利用者からの質問を同時にさばけるだけの計算機を、いつも用意しておく必要があります。1回は小さくても、利用者が何百万人にもなれば話は別です。人気のサービスでは、積み重なった推論の費用が学習の費用を上回ることもあると言われます。

たとえるなら

ラーメン店にたとえると、学習は開店前の準備です。店を作り、何度も試作して秘伝のスープを完成させるまでに、まとまったお金がかかります。推論は開店後の一杯ごとの材料費や光熱費です。一杯分はわずかでも、行列のできる店ほど毎日の費用は大きくなります。そしてスープを改良したくなったら、また試作からやり直しです。

「値下げ」はどうして起きるのか

AIのサービスでは、同じくらいの性能を得るための料金が年々下がってきました。理由の一つは、推論の費用を下げる工夫が進んだことです。大きなモデルの答え方を小さなモデルにまねさせる蒸留、数値を粗く丸めて計算を軽くする工夫、より効率の良いチップやソフトの改良などが重なっています。料金が下がると、これまで費用が見合わなかった細かな作業にもAIを使えるようになり、利用の幅が広がります。

ニュースを読むコツ

「学習コスト◯◯億円」という見出しは、何を含めた金額かを確かめましょう。最終的な1回分の計算機代だけなのか、試行錯誤や人件費まで含むのかで、数字は何倍も変わります。

「推論コストを半分に」「API料金を値下げ」というニュースは、使う側の費用の話です。AIを業務に組み込む企業にとっては、性能の向上と同じくらい大事な知らせです。大手企業が発表する巨額の設備投資は、学習のための計算機と、推論のための計算機の両方に向かっています。そして記事に「推論」とあったら、それが「使う工程」なのか「考える力」なのかを、文脈で見分けてください。