文字を使わず人の声だけで会話を学んだAIが登場　感情や相槌も自然に再現

米Block（ブロック）傘下のAI研究組織は、テキストデータを一切使わず、人間の音声データのみから直接会話を学習させた音声対話AIモデル「Dessa」を発表した。テキストへの変換や既存の事前学習済みモデルを利用せず、人間の生の会話音声を聞くことだけでリアルタイムに対話する能力をゼロから獲得したとしている。

Dessaは、音声を入力して音声をそのまま出力する音声特化型のモデルだ。人間と同じように相手の声を聞きながら同時に話す全二重通信に対応しており、相手の発言を遮って割り込んだり、「うん」「わかった」といった相槌を自然なタイミングで挟んだりすることが可能である。推論速度は実時間を上回っており、Appleの「MacBook Pro M4 Max」以上の性能を持つ端末であれば、外部サーバーを介さずローカル環境で単独動作する。

開発チームは、従来の音声AIが音声を一度テキストに変換することで、声の調子や抑揚、感情といった重要な情報の多くを捨て去っている点を課題として挙げている。テキストに依存する仕組みでは会話が不自然で遅くなるだけでなく、例えば利用者が強い痛みに苦しんでいるような状況でもAIがそれに気づかず会話を続けてしまうといった安全上の懸念が生じるという。Dessaは感情や皮肉、笑い声、悲しみによる声の震え、ため息などをそのまま聞き取り、自身も感情を込めて返答できる。

文字情報に頼らない音声学習は処理が極めて困難とされるが、チームは「NVIDIA GB200 NVL72」1台のみを用いて学習を完結させた。大規模言語モデルと比較して数百倍少ない単語量から言語を習得したとしている。同組織はカナダのトロントを拠点としていた新興企業Dessaの元メンバーらによって設立され、2012年から深層学習を、8年以上にわたり生成音声モデルを手がけてきた。現在はブロックの共同創業者兼会長であるJack Dorsey氏に直属する。

音声のみから対話を獲得したAIモデルは未知の領域であることから、チームは予期せぬリスクを検証するため、小規模なAI安全性研究者グループに早期アクセスを提供する。また、第三者モデルである「GPT-Live-1」との対話を含む録音データは、公式X上で順次公開していく予定だ。