複数言語が混ざった音声を文字起こし不要で直接見抜く新手法、Appleが発表

1つの発話の中で複数の言語が入れ替わる「コードスイッチング」を、音声をテキスト化することなく直接検出する軽量な手法が発表された。学習工程。数か月と巨額の計算費がかかる。">事前学習済みの音声モデルが内部に保持している言語ごとの反応情報を利用することで、高精度な文字起こし処理を介さずに言語の混在を判別する。

複数の言語が混ざり合う会話は日常的に広く見られる一方、AIモデルの学習用データセットには十分に反映されていない課題がある。学習データを増やすには大量の音声コレクションから該当する発話を見つけ出す必要があるが、従来の方式では音声を一度文字起こしした上で判定する必要があり、正確な多言語テキストを得られるかどうかに依存していた。

提案された手法は、単一言語の音声データを用いて事前学習済み音声エンコーダ内の言語に特化した隠れ層の次元を特定する。そのフレーム単位の活性化度合いを集約し、少量のコードスイッチングデータで判定ルールを調整することで、同一発話内に2つの言語が存在するかを予測する。

14の言語ペアを含む評価用データセット「CS-FLEURS」で検証したところ、「Whisper-small」のエンコーダを用いた構成で平均F1スコア0.798を記録した。これはCNNによる手法（0.776）や、単一言語識別に訓練された「HuBERT」によるベースライン手法（0.751）を上回る数値となった。既存の音声モデルがすでに混合発話の識別に必要な情報を備えていることを示しており、多様な言語データを収集するための実用的な基盤技術になるとみられる。