画面を見てアプリを操作する小型AI、Appleが実機で鍛える新手法を発表

Appleの研究チームは、稼働中のiOSアプリケーション上でUI（ユーザーインターフェース）を操作するAIエージェントを直接訓練するオンライン学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習フレームワークを発表した。最先端のビジョン・ランゲージ・モデル（VLM）は優れたUI操作能力を持つものの推論コストが高く、一方で小型モデルを教師ありファインチューニング（SFT）やオフライン強化学習で訓練すると、静的な操作手順を記憶するにとどまり、予期せぬエラーから復帰できない脆さがあった。

この課題を解決するため、提案手法ではエージェントを「計画エージェント（Planning agent）」と「UIグラウンディングモデル（UI Grounding model）」の2つに役割分担させた。訓練にはLLMを評価役（LLM-as-a-Judge）として活用し、最終的なタスク完了に対する報酬に加え、各操作ステップの進捗を評価する稠密な報酬信号を組み合わせた。さらに、並行する試行の中から視覚的に類似した状態の情報を利用して価値推定を安定させる新手法「GiGPPO」を導入し、数百台の仮想iOSデバイスを並行制御する大規模な訓練環境を構築した。

評価には「UINavBench」「iOSWorld」「AndroidWorld」などのベンチマークが用いられた。訓練された8B（80億パラメータ）エージェントは、SFTや完了報酬のみの強化学習ベースラインを大幅に上回り、実環境のiOSアプリ操作において「Gemini-3.5-Flash」を超え、「Gemini-3.1-Pro」と同等の水準を達成した。また、学習対象外であるAndroid環境への汎化性能においても、SFTベースラインに対して約7倍の改善を示した。