AIが外部ツールを選ぶ基準を調査、入力欄の構造が選ばれやすさを左右と判明

Model Context Protocol（MCP）環境において、大規模言語モデル（LLM）が外部ツールを選択する際、ツールの名称や概要だけでなく「パラメータスキーマ（入力設定の構造）」の違いが選択に最も強い影響を与えるとする研究結果が公開された。機能が同じツールであっても、入力項目の並び方や構成によってモデルに選ばれるかどうかが大きく変わるという。

本研究では、36万7,174件のMCPツールのメタデータを分析した。その結果、機能や名称、説明文が酷似しているにもかかわらず、パラメータのスキーマが異なるツールが多数存在することが判明した。そこで研究チームは、スキーマの違いがツール呼び出し前の選択行動にどう作用するかを検証するため、5つのLLMと5つのタスクを用いて統制実験を実施した。サーバー名、ツール名、説明文、パラメータスキーマのうち1要素のみを変更し、表示位置の影響を条件付きロジスティック回帰で調整しながら選択傾向を測定した。

検証の結果、パラメータスキーマの変更が、検証した介入の中で最も大きく一貫した選択率の変動を引き起こした。具体的には、複数の項目がまとめられた複合型よりも、トップレベルに個別に分離されたパラメータを持つツールが好まれる傾向が確認された。また、パラメータの内容を解説する説明文もツールの選択率を押し上げる一方、ツール名自体の変更による影響は弱く一貫性を欠いた。さらに、要求される条件を1つのスキーマのみが満たす場合、ツールの表示順序に関わらず全5モデルが条件に適合するツールを選択した。

これらの結果は、パラメータスキーマが単なるツールの呼び出し方だけでなく、そもそもAIに選ばれるか否か自体を決定づけていることを示している。研究チームは、MCPを採用する開発者や評価者に対し、同一の機能であってもスキーマの設計やツールの提示順序が選択結果を左右する点に留意すべきだと指摘している。