第17回 ベンチマーク
性能比較の正しい読み方

AIの共通テスト

新しいAIが発表されると、「◯◯のベンチマークで最高点」「主要モデルを上回る」といった言葉がよく並びます。ベンチマークとは、決まった試験問題を解かせて、AIの性能を点数で比べる方法です。

人間の学力を模試で比べるのと同じように、同じ問題を解かせれば、違う会社のモデルを同じ物差しで並べられます。知識を問う問題、数学の問題、プログラムを書く問題、長い文章を読み解く問題など、試験の種類はたくさんあります。点数を一覧にしたものはリーダーボード(順位表)と呼ばれます。第13回の学習で調整される膨大な数値。「7B」は70億個の意味で、多いほど賢くなる傾向があるが動かすコストも増える。">パラメータ数がモデルの「大きさ」を表すのに対して、ベンチマークは「何ができるか」を直接測ろうとする物差しです。

また、2つのAIの答えを名前を伏せて並べ、人がどちらが良いかを投票して順位を付けるやり方もあります。こちらは、試験問題では測りにくい「使ってみたときの好ましさ」に近い物差しです。

落とし穴1: 問題の流出

ベンチマークの問題は、インターネットで公開されていることがよくあります。AIはネット上の大量の文章で学習するので、試験の問題や答えが学習データに紛れ込んでしまうことがあります。これを問題の流出、あるいは汚染と呼びます。

そうなると、AIは問題を解いているのではなく、答えを覚えているだけかもしれません。点数は高く出ても、初めて見る問題では同じように解けない可能性があります。公開から時間がたった試験ほど、この心配は大きくなります。研究者は、問題を非公開にしたり、新しい問題に入れ替えたりして対策しています。

落とし穴2: 条件の違い

同じ試験でも、測り方の条件で点数は変わります。何回か解かせて一番良い答えを採るのか、1回きりなのか。答える前に考える時間をどれだけ与えるのか(第18回)。検索などの道具(第12回)を使わせるのか。発表の数字を比べるときは、こうした条件がそろっているかが大切です。

また、発表する会社が、自社のモデルが得意な試験の結果を中心に載せることもあります。それ自体は不正ではありませんが、載っていない試験の結果は分からないということは覚えておきましょう。

落とし穴3: 満点に近づいた試験

多くのモデルが満点近くを取るようになった試験では、点数の差がほとんど付かなくなります。そのため、より難しい新しいベンチマークが次々に作られています。古い試験での数点の差は、実力の差というより測り方の誤差の範囲かもしれません。

また、点数そのものが開発の目標になると、試験には強くなったのに実際の使い勝手はそれほど変わっていない、ということも起こりえます。物差しは、それを目標にしすぎると物差しとしての役目を果たしにくくなるのです。

たとえるなら

ベンチマークは模試の成績表に似ています。模試の点数は学力のよい目安ですが、過去問を丸暗記した受験生は、模試では高得点でも、初めての問題には歯が立たないかもしれません。そして模試の成績が良くても、仕事ができるかどうかは別の話です。AIも、試験の点数と、あなたの仕事で役に立つかどうかは同じではありません。

ニュースを読むコツ

「ベンチマークで首位」という見出しを見たら、まずどの試験なのかを確かめましょう。数学の試験で首位でも、文章の要約が得意とは限りません。次に、ほかのモデルと同じ条件で測った結果かを見ます。そして差が数点なら、誤差の範囲かもしれないと考えておくと安全です。順位表の首位は、新しいモデルが出るたびに入れ替わります。「首位」は発表した時点での一つの結果だと受け止めましょう。

最後は、自分の使い方で実際に試してみるのがいちばん確実です。ベンチマークは「候補を絞り込むための目安」として使うのが上手な付き合い方です。