AIが身につけた「考える力」は問題文の整理か　三目並べの検証で判明

学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習によって大規模言語モデルが獲得するとされる「推論能力」の実態について、三目並べを題材に内部構造を分析した研究結果が公開された。検証可能な報酬に基づく強化学習を行うと、モデルは高い精度と頑健性を示し、一見すると論理的な思考能力を獲得したように見えるが、内部処理の詳細は十分に検証されていなかった。

研究チームが内部表現を解析したところ、強化学習を経たモデルは、手番や盤面の占有状況など、入力文に最初から書かれている情報への依存度を高めていただけであることが判明した。一方で、盤面の対称性や戦略的な分岐といった高次の概念は内部で弱くしか表現されていなかった。

この結果は、強化学習による事後学習が新たな概念を追加したのではなく、どの特徴を重視するかを再編したにすぎないことを示唆している。研究チームは、強化学習で見られる推論能力の向上が入力情報への課題特化型適応と混同されており、既存の評価指標がモデルの思考力を過大評価している懸念があると指摘した。