会話の流れに合わせて声色を変える音声AI、50言語対応で自社の設備にも導入可能

仏Mistral AIは、音声認識から推論、音声合成、外部ツールの呼び出しまでを一括して処理する音声モデル群「Voxtral 3」を発表した。電話窓口や自動案内などの対話エージェント構築を想定しており、同社が欧州連合（EU）内でホストするAPI経由のほか、企業の自社インフラに直接配備して運用できる体制を整えた。

音声をリアルタイムで正確に聞き取りながら文脈を理解し、自然な抑揚で発話して業務システムと連携させる一連の処理は、従来の技術では実現が難しかった。Voxtral 3はこれらを1つのパイプラインに統合し、低遅延な会話を実現する。文字起こしモデル「Voxtral Small Transcribe 3」は50以上の言語に対応し、複数話者の識別や専門用語の認識補正、発話の終了検知機能を備える。40億パラメータの「Mini」版は1分あたり0.0035ドルで利用でき、リアルタイム版は35以上の言語で500ミリ秒未満の応答速度を達成した。

音声合成モデル「Voxtral Mini TTS 3.0」は、35以上の言語と50以上の方言に対応し、文脈から感情や話す速度、強調を自動で調節する。利用料金は100万文字あたり13ドルに設定された。30分以上の音声データから特定の話者の声質や表現力を再現する機能も備える。ベンチマーク検証では、既存の音声認識モデルや音声合成サービスを上回る精度や費用対効果を示したとしている。