第8回 ハルシネーション
AIはなぜもっともらしい嘘をつくのか

もっともらしい嘘

生成AIに質問すると、ときどき事実と違うことを、とても自信ありげに答えることがあります。実在しない論文のタイトル、存在しない法律の条文、ありもしない製品の機能。しかも文章は自然で、一見すると正しく見えます。この現象をハルシネーションと呼びます。「幻覚」という意味の英語です。

実際に、米国では2023年、弁護士がAIの作った架空の判例をそのまま裁判所への書面に引用し、問題になりました。AIを仕事に使うなら、避けて通れないテーマです。

なぜ起きるのか

理由は、LLM(学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデル)が文章を作るしくみにあります。第5回で見たように、LLMは正しい答えをどこかで調べてから返しているわけではありません。それまでの文章に続く「次の言葉」として最ももっともらしいものを予測し、それを一語ずつつなげて文章を組み立てています。

「日本で一番高い山は」と聞かれれば、学習した大量の文章から「富士山」が圧倒的にもっともらしい続きだとわかります。ところが、ほとんど情報の無い小さな町の山について聞かれると、候補はばらけます。それでもLLMは文章を止めず、それらしい響きの名前を選んでしまうのです。

つまりハルシネーションは、故障や手抜きではなく、文章を作るしくみそのものから生まれる性質です。

起きやすい場面

特に起きやすいのは、細かい数字や年号、人名や地名などの固有名詞、引用や出典のURL、ごく最近の出来事、そして話題そのものがマイナーな場合です。どれも「それらしい形」は簡単に作れる一方で、学習した文章の中に正しい答えが少ないものばかりです。

逆に、多くの人が繰り返し書いてきた一般的な知識ほど、間違いは起きにくくなります。

たとえるなら

答えがわからない問題でも、空欄にしておくのが嫌で、それらしい答えを書き込んでしまう受験生に似ています。本人に悪気はありません。ただ、採点する側が気づかなければ、間違いはそのまま正解のような顔をして残ってしまいます。

減らす工夫

いちばん効果が大きいのは、信頼できる資料を渡して、その内容に基づいて答えさせる方法です。社内文書などを検索して渡すRAGという技術で、第9回で詳しく扱います。

ほかにも、「わからない場合はわからないと答えて」とあらかじめ指示する、出典を出させて自分で確かめる、といった工夫があります。最近は答える前に時間をかけて考える推論モデル(第18回)も登場し、間違いは減ってきました。それでも、ゼロにはなっていません。

上手な付き合い方

大事なのは、AIの答えを「下書き」として扱うことです。アイデア出しや文章の整理では大きな力になりますが、数字・固有名詞・出典が出てきたら、元の資料で確かめる習慣をつけましょう。

このアプリが、すべての記事に発表元の原文へのリンクを付けているのも同じ理由です。AIが要約した内容でも、元の一次情報にすぐ戻れることが、いちばん確かな安全策になります。