「こぼさないで」の一言で別の家電も自ら回避　MITが意図を読むロボット技術

マサチューセッツ工科大学（MIT）とニューヨーク大学の研究チームは、人間が日常会話で発する指示の文字通りの意味だけでなく、その背景にある意図を学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論して動作計画を修正するロボット学習プラットフォーム「FLEX」を開発した。研究成果は、今月開催される年次学会「Conference on Robot Learning」で発表される予定だ。

人間は発話された言葉の表面的な意味にとどまらず、文脈から真意を直感的に察知できる。一方で、ロボットの軌道計画には数理的な処理が用いられており、一般の利用者が意図を正確に伝えるために専門的な指示を細かく教え込むことは困難だった。ロボット学習に自然言語を取り入れる従来の手法でも、利用者の注意に従って回避対象を1つずつリストへ追加する方式が採られていたが、指示が増えるにつれてリストが長くなり、環境の変化に伴って不要な条件が残るなどの課題があった。

今回発表されたFLEXは、こうした課題を「追加（Add）」「一般化（Generalize）」「除外（Mask）」という3段階の処理で解決する。まず利用者の指示に基づいて注目すべき物体をリストに追加し、次に大規模言語モデル「GPT-4o」を用いて背景にある共通概念を導き出す。たとえば「ノートパソコンにこぼさないで」という発話に対し、言語モデルが事前学習で得た知識から「液体が機器にかかると故障する」という関係性を認識し、指示されていない周囲のスマートフォンなどの電子機器全般も避けるよう動作を自動調整する。最後に、標準的なコンピュータビジョンで環境内にもう存在しない物体を特定し、リストから除外する。この一連の処理は約5秒で完了するという。

研究チームは仮想環境を用い、コーヒーを運ぶ、ろうそくを移動させる、ボウリングの球を運ぶという3つの作業シナリオで検証を実施した。協力者が「ノートパソコンにこぼさないで」「紙の束から離れて」「マグカップの上に落とさないで」といった日常的な言葉を入力したところ、ロボットは指示を忠実に守るだけでなく、電子機器、可燃物、壊れやすい物体全般を避ける高度な動作計画を自律的に生成した。

研究を率いたMITのアンドレア・ボブ助教授は、住環境や大切にするものは家庭ごとに異なるため、最初から個人の好みを把握しているロボットは存在しないと指摘する。そのうえで、すべての規則を人間が一から説明する手間を省き、1〜2文の自然な会話から意図をくみ取れる仕組みこそが、実生活に受け入れられるロボットの実現につながると説明している。