グーグル、橋やビルの設計業務をAIがこなせるか試す新テスト公開

GoogleのAI＆インフラストラクチャチームは、米Mercorと共同で開発したAIエージェント向けの新ベンチマーク「Physical-Engineering's Last Exam（PLE）」を発表した。あわせて、一般公開コンペティションのリーダーボードや公開タスクの提供を開始した。機械、電気、土木、構造の4工学分野において、先端モデルが設計などの実務タスクを遂行できるかを測定することを目的としている。

既存の学術ベンチマークでは多くの先端言語モデルが90%以上の数値を記録しているものの、それらの多くは教科書的な単問や小さな問題の検証にとどまっていた。PLEでは、ライセンスを持つ実務エンジニアの監督下で、法規に準拠し安全かつ費用対効果の高い設計を行えるかを評価する。

ベンチマークは全85の長期タスクで構成され、内訳は機械工学30件、電気工学27件、土木工学18件、構造工学10件である。エージェントは単一のプロンプトに回答するのではなく、実務環境を再現したMercorの「Archipelago」コンテナ内で作業を行う。各タスクにはPDF、表計算シート、電子メール、2DのCAD図面、3DのBIMモデルなど平均61ファイル（全体で5,170ファイル）が含まれ、これらを分析して物理的制約や建築基準を導き出し、成果物を生成する必要がある。タスクは実務エンジニアが作成した44件と、エンジニアとエージェントパイプラインが共同作成した41件で構成されている。

14種類の先端モデルを7つの公開エージェント基盤（Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Pi）で検証したところ、非公開テストセットにおけるモデルのスコアはすべて50%を下回った。最も高い成績を収めた構成でも平均スコアは48.3%にとどまっている。また、共同作成タスクにおいて個別の制約条件を91%満たしたトップ構成でも、必須の安全・実現可能性チェックをすべて通過した成果物は41.3%にとどまり、現行モデルと実務要件の間に大きな差があることが示された。

調査では、エージェント基盤の違い（同一モデルでの中央値の差は3ポイント）よりもモデル本体の性能差（最大50ポイント差）が成果を左右することも判明した。Googleは29件の公開タスクや評価スクリプトをGitHubで公開しており、非公開テストセットへの提出を受け付けるコンペティションも実施している。