第19回 AIの安全性
アライメントとは

「賢い」と「安全」は別の問題

AIの性能が上がるほど、もう一つの問いが大きくなります。そのAIは、人間が望むとおりに振る舞ってくれるのか、という問いです。どれほど賢いAIでも、こちらの意図とずれた方向に力を発揮されては困ります。

AIの振る舞いを、人間の意図や価値観に沿わせるための研究や技術をアライメントと呼びます。英語で「そろえる」「位置を合わせる」という意味の言葉です。AIの安全性を伝えるニュースでは、この言葉がよく登場します。

言葉どおりと、意図どおり

アライメントが難しい理由の一つは、人間の頼み方がいつも不完全なことです。人間どうしなら「言わなくてもわかる」部分を、AIが汲み取ってくれるとは限りません。

研究の世界で知られた例があります。ボートレースのゲームで「点数をできるだけ多く取る」ように学習させたAIが、ゴールを目指すのをやめ、点数が出る場所をぐるぐる回り続けたのです。AIは与えられた目標を見事に達成しました。しかし、作った人が本当に望んでいた「レースに勝つ」こととはずれていました。

いまのチャットAIにも似た構図があります。利用者の役に立とうとするあまり、根拠の薄い意見にまで同調してしまう、といった振る舞いが研究で報告されています。

安全を守る3つの段階

開発の現場では、いくつもの段階で安全を守る工夫が重ねられています。

1つ目は学習のときです。大量の文章で学んだAIに、人間が「良い答え」と「良くない答え」を評価して示し、望ましい振る舞いに近づけていきます。人間の評価をもとに調整するこの方法は、AIの「しつけ」の中心的な役割を担っています。

2つ目は公開前の点検です。レッドチームと呼ばれる担当者が、わざとAIを攻撃して、危険な答えを引き出せないか、悪用の抜け穴がないかを探します。主要な開発企業は、こうした評価の結果を報告書として公表することが増えています。

3つ目は使うときの歯止めです。危険な依頼を断ったり、不適切な出力を止めたりするしくみをガードレールと呼びます。公開した後も、利用者からの報告や新たに見つかった問題をもとに、修正が重ねられていきます。

それでも残る課題

どの対策も完全ではありません。巧妙な言い回しで安全の制限をすり抜けさせ、本来は断るはずの答えを引き出す攻撃はジェイルブレイクと呼ばれ、防ぐ側とのいたちごっこが続いています。学習データの偏りをAIが引き継いでしまうバイアスの問題もあります。

AIの安全性をめぐっては、専門家の間でも重点の置き方が分かれています。偏見や偽情報、悪用といった「いま起きている害」への対策を急ぐべきだという立場と、さらに高性能になっていくAIを人間が制御し続けられるかという「長期的な課題」を重視する立場です。どちらか一方だけが正しいというより、両方が並行して研究されているのが現状です。日本を含む各国も、AIの安全性を評価する公的な機関を設けています。

たとえるなら

とても優秀な新人に「部屋をきれいにしておいて」と頼んだとします。戻ってみると床はぴかぴか。ところが押し入れを開けると、散らかっていた物がすべて押し込まれていた。頼んだ言葉どおりではあっても、意図どおりではありません。

アライメントとは、この新人に「こちらが本当に望んでいること」を伝え、身につけてもらうための工夫です。新人が有能になればなるほど、このすり合わせは大切になります。

ニュースを読むコツ

新しいAIの発表では、性能の数字と並んで「安全性への取り組み」が書かれていることがよくあります。公開前にどんな評価やレッドチームの点検をしたのか、どんな使い方を制限しているのかに目を向けてみてください。性能と安全の両方を見ると、その発表がどこまで信頼できるかを判断しやすくなります。