AIは異文化のなぞなぞを解けるか　50カ国超が参加した調査で露呈した自信満々な誤答

AI研究機関のCohere Labsが支援するオープンサイエンスプロジェクトにおいて、AIモデルが多様な言語や文化に根ざした「なぞなぞ」を正確に解釈できるかを検証する国際的な調査が実施された。50カ国以上から100人以上のコントリビューターが参加し、英語データ中心で学習されたAIモデルが抱える文化的な死角や、誤答時の挙動が明らかになった。

本プロジェクトの発端は、ハンガリーの外交官であるBoczka Károly氏がAI研究の機会を探るなかで、自国の文化知識を問うなぞなぞを作成したことにある。AIモデルに解かせたところ、回答はもっともらしく聞こえるものの文化的事実を欠いており、ハルシネーション（事実に基づかないもっともらしい嘘の生成）を引き起こしていた。同氏がCohere LabsのリサーチサイエンティストであるJulia Kreutzer氏に知見を共有したことで、AIの流暢さと文化的知識の乖離を検証する世界的な取り組みへと発展した。

プロジェクトの特徴は、参加条件としてAIの専門知識を求めず、特定の文化への当事者意識となぞなぞの作成・評価への意欲のみを課した点にある。SNSやコミュニティを通じて広く公募が行われ、Discord上に集まった有志がスポーツや歴史、政治といった分野で独自のベンチマークを構築した。参加者には15歳のアメリカ人高校生であるHenry Gagnier氏や、カナダ人の退職教員であるJane Smith氏らも名を連ねた。

調査の過程では、AIモデルが抱える深刻な課題が浮き彫りになった。高校生のGagnier氏は、文化の理解不足だけでなく、広く話されているブギス語のような言語であってもモデルがほぼ知識を持たない実態に驚きを示した。また退職教員のSmith氏は、AIが「わからない」と答えるケースが極めて稀で、間違った回答であっても断定的かつ自信満々に答えてしまう点に懸念を表明した。同氏は、人々が権威ある回答を求めているなかでAIが断定的に誤りを述べる危険性を指摘し、「人類を滅ぼすのはAIではなく、批判的思考の欠如だ」と強調している。

なぞなぞの解釈は文化的文脈に強く依存しており、単なるパズル解決にとどまらない人間の経験や言語の理解が問われる。Cohere Labsは現在、モデルが示す確信度の検証を通じて、文脈理解の向上に取り組んでいる。