複雑な最新AIの性能向上、安価で単純な従来手法との差はわずか2.3ポイントか

テキスト属性付きグラフのノード分類タスクにおいて、学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデルを用いた最新手法の性能向上が、計算コストの低い単純な基準手法と比べてどれほど実質的な差を持つかを検証した研究結果が公開された。

研究チームは先行研究3件のデータ分割に基づき、検証用データのみで調整した4つの基準手法を比較した。その結果、TF-IDF特徴量を用いた手法「Correct & Smooth」とLLM手法の最高平均値との差は中央値で2.3ポイントにとどまり、既存の埋め込みモデルを用いたMLPとの差も2.8ポイントだった。全24タスク中15タスクで差は3ポイント以内だった一方、検証可能な22タスク中12タスクではLLM手法が有意に高く、一部では確かな優位性も確認された。

あわせて公開コードを精査したところ、テストデータを使った調整やテスト対象ラベルの学習への混入など、複数の評価上の不備が見つかった。同一手法かつ同一データ分割でありながら、論文間で最大12.5ポイントの性能差が生じている事例も報告されている。