マルチモーダル大規模言語モデルとは

文章だけでなく、画像や音声、動画など複数の種類の情報を同時に理解して処理できるAIモデルのことです。写真の内容を文章で説明したり、図表を見ながら質問に答えたりできます。

たとえるなら — 文字の読み書きだけでなく、目や耳を使って写真や声も同時に理解できるアシスタントのようなものです。