MIT、ロボットが自分の記憶違いを自動で正す新技術を開発　見間違いを9割解消

米マサチューセッツ工科大学（MIT）の研究チームは、ロボットが移動中に周囲を観察して記録した記憶の誤りを検出し、自ら修正するシステム「UQ-DAAAM」を開発した。ロボットが記憶した物体の誤った説明を自動的に正す技術であり、将来的に家庭や工場で人と協力して複雑な作業を行うロボットの安全な運用を支える手法となる。研究成果は機械学習の国際会議「NeurIPS（Conference on Neural Information Processing Systems）」で発表される予定だ。

誤った認識を修正できない従来の課題

ロボットが緊急時に自動体外式除細動器を取りに行くよう指示された際、記憶の中で除細動器を消火器と誤認して記録していれば、救命器具を見つけ出せない事態が生じる。研究チームはこれまで、視覚と言語を扱うモデルを活用し、カメラで捉えた物体を詳細なテキスト説明として3次元地図上に記憶する「DAAAM」を開発していた。しかし、物体の一部しか見えなかったり、遠方にあったり、画像が不鮮明だったりする場合、屋根の上の煙突をリスと見誤るような誤認識が発生し、その誤った記憶を修正できないまま移動を続ける課題があった。

異なる角度の画像を統合して曖昧さを解消

新たに開発されたUQ-DAAAMは、物体の説明に対する不確実性を数値化して検証する枠組みを導入した。ロボットは移動しながら収集した複数の画像から、同一の物体を異なる角度で捉えたデータを比較する。まず、物体を説明するために生成された言葉に対するモデルの確信度を算出し、次に異なる視点から得られた説明同士の一致度を測定する。研究チームを率いるLuca Carlone准教授は「2つの不確実性の要因を単一の数値に統合し、物体に対するモデルの理解の確かさを把握する」と説明する。不確実性が一定の基準を超えた場合、システムは簡単な規則に基づいて不確実性を最も減らせる追加の画像を選び出し、ChatGPTやGeminiの中身。">大規模言語モデルを用いて単一の説明へと統合する。

曖昧さを92%解消し、認識精度も5%向上

この手法により、ロボットは視覚言語モデルを再実行することなく最適な画像を選択できるため、移動しながら瞬時に計算を行うことが可能となった。検証では、物体ごとにわずか2つの追加キャプションを参照するだけで、環境内の約92%の物体について曖昧さを解消することに成功した。さらに、物体の説明精度は既存の最先端技術と比べて5%向上した。また、物体が何であるかだけでなく、それがどこにあり、いつ確認されたかという質問に対しても、従来の手法を上回る正確な回答が得られたという。

物理AIの安全運用へ向けた展開

Carlone准教授は「ChatGPTとは異なり、物理的なAIにおいては単に誤りの可能性を警告するだけでは不十分だ。ロボット自身が何を知らないのかを認識できるようにすることが、安全な社会実装に不可欠となる」と述べている。共著者である大学院生のHarry Zhang氏やNicolas Gorlo氏らとともに、研究チームは今後、移動型マニピュレーターなど異なる種類のロボットへの適用を進める方針だ。また、不確実性が高い領域をロボットが再訪して理解を深める仕組みや、環境の将来の状態を予測するシステムへの応用も模索している。なお、本研究の一部は米陸軍研究所および米海軍研究局の支援を受けて実施された。