第11回 マルチモーダル
画像・音声・動画を扱うAI

文字だけのAIから、見て聞くAIへ

初期のチャットAIが扱えたのは文字だけでした。いまの生成AIの多くは、写真を見せて質問したり、声で話しかけたり、動画の内容を説明させたりできます。このように、文字・画像・音声・動画といった複数の種類の情報をまとめて扱えることを、マルチモーダルと呼びます。「モード」は情報の種類のことです。

ホワイトボードを撮った写真から会議のメモを作る、グラフの画像を読んで傾向を説明させる、会議の録音から議事録を作る。どれも、文字だけのAIではできなかった使い方です。

しくみ: 何でも「トークン」に変える

第6回で、AIは文章をトークンという小さな単位に区切って読んでいることを見ました。マルチモーダルAIは、画像や音声も同じように扱います。

画像は小さな区画に分けて、区画ごとに数値の並びに変えます。音声は短い時間ごとに区切って、同じように数値の並びにします。いったん同じ形にそろえてしまえば、文字のトークンと並べて、1つのモデルでまとめて処理できます。そのため、「このグラフの赤い線は何を表していますか」のように、画像の中の一部分と言葉を結びつけて考えることができるのです。画像と文章を一緒に扱うモデルは、視覚言語モデル(VLM)とも呼ばれます。

出力の側も同じで、文章で答えるだけでなく、画像を作ったり、声で話したりできるモデルもあります。どの入力と出力に対応しているかは、サービスによって違います。

仕事での使いどころ

いちばん手軽なのは、写真から文字や情報を読み取る使い方です。手書きのメモや紙の資料を文字にする、現場の写真から点検記録の下書きを作る、パソコンの画面を撮って「この操作はどうすればいいですか」と聞く。音声の側では、会議の録音を文字に起こす音声認識と、要約を組み合わせる使い方が広まっています。

ほかにも、外国語の説明書や表示の写真を撮って訳してもらう、お客様から届いた不具合の写真を見て状況を整理する、手書きの図や画面のスケッチから資料の下書きを作るといった使い方があります。言葉にしにくい情報ほど、見せる効果が大きくなります。

たとえるなら

これまでは、電話でしか相談できない相手に、目の前の機械の様子を言葉だけで説明していたようなものでした。マルチモーダルAIは、その相手が隣に来て、一緒に機械を見て、音を聞いてくれるようになった状態です。「うまく説明する」代わりに「見せる」「聞かせる」ことができるので、伝わる情報の量が大きく変わります。

注意したいこと

画像を扱えても、見間違いは起きます。小さな文字や崩れた手書き、細かい表、写っているものの数を数えることなどは、今でも間違えやすい場面です。グラフの読み取りでも、目盛りの細かい数値を取り違えることがあります。第8回のハルシネーションと同じように、読み取った数字や名前は、元の写真や実物で確かめましょう。

もう一つは個人情報です。写真には、思った以上に多くの情報が写り込みます。書類に書かれた名前や住所、人の顔、後ろに映ったパソコンの画面。AIに渡す前に、写り込んだ個人情報がないかを確かめ、必要なら撮り直すか、その部分を隠してから渡しましょう(第22回)。

ニュースを読むコツ

「〇〇がマルチモーダルに対応」というニュースを見たら、何を入力できて、何を出力できるのかに注目してください。画像を「見る」だけなのか、声で会話できるのか、画像や動画を「作る」こともできるのか。同じ言葉でも、できることの幅はモデルによって大きく違います。声で会話できるものなら、返事がどれくらい自然な間合いで返ってくるかも、使い心地を左右する大事な点です。