データ分析を自動化するAI、見かけの好成績に隠れた初歩的ミスが多数発覚

大規模言語モデルを活用してデータ分析の設計から実行までを自動化する「データサイエンスエージェント」において、従来の予測精度重視の評価では見落とされがちな欠陥が広く存在することが、研究チームの調査で明らかになった。見かけ上の予測性能が高くても、裏でデータの漏洩や不適切な検証といった方法論的な失敗を犯している事例が多数確認されたという。

現在普及している評価手法は、生成されたコードの正しさや最終的な予測性能に焦点を当てている。しかし、この方法ではデータサイエンスの基本原則や専門的な知見が無視され、結果として信頼性の低い分析手順が覆い隠される恐れがある。そこで研究チームは精度以外の側面に焦点を当て、220件の課題を用いた失敗パターンの分析、特定の6つの失敗を検証するテスト基盤の構築、データ分析競技プラットフォーム「Kaggle」の優秀な専門家との定性比較という3つの角度から検証を実施した。

検証の結果、エージェントの仕組みの複雑さやモデルの能力に関わらず、大半の分析結果に少なくとも1つの失敗パターンが含まれていることが判明した。さらに、データ漏洩の発生と予測性能の高さに正の相関が確認され、予測結果の良さがかえって初歩的なミスによって引き起こされている実態が示された。また、競技の勝者である専門家と比較して、AIエージェントは問題解決の創造性や対象領域の知識が全般的に不足していることも指摘されている。

研究チームは、こうした体系的な失敗パターンの分析が今後の評価に不可欠であり、信頼性の高い自動分析システムの構築につながると提言している。