AIのウソを見抜く新技術、計算の手間を大幅削減し小型モデルでも高精度に判定

大規模言語モデルが文脈に基づかない誤った回答を生成する課題に対し、凍結した小型の代替モデルを用いて検知する新たな手法が発表された。従来の注意機構に基づく検知手法では、系列長に応じてメモリ使用量が二乗で増大する注意行列を展開する必要があり、計算負荷の高さが実用上の課題となっていた。

提案手法では、注意行列を展開することなく、高速化技術のFlashAttentionの処理過程での統計量累積やスパース参照などを組み合わせて特徴量を算出する。H100環境での検証では、Qwen3-8Bの前向き計算において、2,000トークン時の遅延増加が16％だったのに対し、3万5,000トークンでは1.4％に抑えられ、応答トークンあたりのメモリ消費も22.5KiBにとどまった。

3つのベンチマークによる検証では、40億パラメータの代替モデルが、40億〜90億パラメータの評価用モデル9種類のうち最も高いF1スコアを持つモデルを2つのベンチマークで上回る精度を示した。