生物向けAIの危険な知識を消しても約80ドルの計算費用で復元可能　英機関検証

英国のAI安全機関（AISI）の化学・生物チームは、生物分野向けの学習済みモデルの中身 (重み) が公開されていて、誰でもダウンロードして動かせるAIモデル。">オープンウェイトAIモデルにおいて、事前学習データの除外（フィルタリング）による安全対策の有効性を検証した調査結果を発表した。ウイルス関連タンパク質のデータを学習から省くことで特定の能力を選択的に抑制できるものの、最大規模のモデルであっても約80ドル相当の計算コストをかけた追加学習によって、失われた能力を完全に復元できることが判明した。

生物学に特化したAIモデルは重み（ウェイト）が一般公開されることが多く、事後学習による安全対策は追加学習によって容易に解除される恐れが指摘されている。これに対し、事前学習データの厳格な除外は解除により多くの計算リソースが必要となる有望な防御策とみなされてきた。しかし、生物データは大規模言語モデルのテキストデータに比べて多様性が低く、標的とする領域だけを正確に切り離すことが難しいという課題があった。

AISIはタンパク質言語モデル「ESM-2」を用い、800万から30億（3B）パラメータまでの規模でゼロから事前学習を行った。データセットからウイルスを構成するタンパク質配列を除外し、非ウイルスタンパク質に対する性能を保ちながらウイルス関連の性能のみを落とせるかを3つの標準タスクで測定した。その結果、全般的な性能を維持したまま、標的とした能力を大幅に低下させることに成功した。機能低下は「マスク言語モデリング」ではすべてのモデル規模で確認され、「接触予測」は1億5,000万パラメータ以上、「変異効果予測」は6億5,000万パラメータ以上のモデルで確認された。

だが、除外されたウイルスデータを用いた追加学習（ファインチューニング）を試みたところ、失われたウイルス関連性能は完全に復元された。必要な計算コストはモデル規模に応じて増えるものの、最大の30億パラメータモデルでもH100による約80ドルの計算費用で復元できた。AISIは、ウイルス関連データが日常的に一般公開されている現状では、事前学習データの除外だけでは強固な安全策とは言えず、モデルや学習データに対するアクセス制限など、複数の対策を組み合わせることが不可欠であると結論付けている。