画面を見ずにパソコンアプリを直接操作、AI向け支援ツールが主要３OSに対応

vercel-labsは、AIエージェントがパソコン上のデスクトップアプリケーションを読み取って操作できるようにする開発ツール「agent-desktop」を公開した。macOS、Windows、Linuxの主要な3つの基本ソフト（OS）に対応し、コマンドラインツールおよびC言語ライブラリとして提供される。

本ツールは、画面の画像認識（ピクセルマッチング）に依存せず、OSが備えるアクセシビリティツリー（操作補助機能の構造）を直接参照して画面情報を取得する点が特徴だ。アプリ画面のスナップショットを取得すると、操作可能な要素ごとに固有の参照識別子（ref）を付与したJSON形式のデータが出力される。AIエージェントはこの識別子を指定して操作を行い、再びスナップショットを取得して画面状態の変化を確認する。

基本設定では裏側で動くヘッドレス動作となっており、マウスポインタを動かしたりウィンドウのフォーカスを奪ったりせずに操作が実行される。パッケージにはx64およびARM64向けのネイティブバイナリが含まれ、npmなどのパッケージ管理ツールで導入できるほか、プロセス内で直接ツールを呼び出せるライブラリ「libagent_desktop_ffi」も提供される。

ツール内には60種類のコマンドが収録されており、うち56種類の操作コマンドが利用可能となっている。キーやマウスボタンの長押しを扱う残る4つのコマンドは、制御デーモンによる解放処理への対応待ちとされている。また、macOS向けのHomebrewやWindows向けのScoopといった公式カタログへの登録申請が進められている。