人の耳を超える機械へ、MIT教授が音を理解するAI研究を推進

マサチューセッツ工科大学（MIT）のパリス・スマラグディス教授は、人間以上に音を聞き分け、理解する機械の開発に取り組んでいる。視覚情報だけでなく、タイヤのきしむ音や金属音から交通事故の現場を即座に特定したり、地熱井を掘削する工業用ドリルが破損する予兆を音から察知したりするような、超人的な聴覚を持つシステムの実装を目指している。

スマラグディス氏は、MITの人文学・芸術・社会科学部と、工学部およびシュワルツマン・コンピューティング・カレッジに属する電気工学・計算機科学科（EECS）で共同ポストを務めている。同氏の研究グループは、音源分離のための機械学習や、周囲の音響環境を拡張するスマート機器、音楽を解析・作成するための支援ツールの開発を進めている。

幼少期からクラシックギターやシンセサイザーに親しんだ同氏は、ボストンのバークリー音楽大学でコンピュータ音楽を学び、その後MITメディアラボで修士号および博士号を取得した。当時一般的だった信号処理技術に対し、機械学習を用いて音を理解させる手法を選択。三菱電機情報技術研究所（MERL）では映像の音声トラックからハイライトシーンを判定する技術を手がけ、携帯電話や録画機器などに導入された。その後アドビを経てイリノイ大学アーバナ・シャンペーン校に移籍し、ニューラルネットワークを用いた音源分離技術などを開発した。

この音源分離技術は、2021年のドキュメンタリー『ザ・ビートルズ：Get Back』の制作チームに採用され、アーカイブ音源の修復に活用された。この貢献により、同作は2022年のエミー賞でノンフィクション／リアリティ番組部門の音響編集賞を受賞している。

2025年にMITへ移籍した同氏の研究室では現在、主に2つの領域に注力している。1つは、音楽を理解して演奏者に有益な助言を与えるなど、音楽家を代替するのではなく支援するためのツール開発である。もう1つは、サンプリングレートやフレームサイズといった従来の前提条件に縛られない新しい信号処理アルゴリズムの探求や、大規模言語モデル（LLM）の音声認識・音響強化への応用である。スマラグディス氏は、AIは強力なツールであるものの、音や音楽における理想的な活用法はまだ見出されていないと指摘し、基礎的な仕組みの再構築に取り組んでいる。