AIの回答拒否を解除したモデルが無償公開、テスト性能を落とさず多様な指示に応答
要点 3行
- DeepSeekのモデルから指示への拒否動作を取り除いた派生モデルが、MITライセンスで公開された。
- 50件の評価テストで拒否は2件にとどまり、基本的な能力チェックは6項目すべてに合格した。
- 2,500問の学術知識テストでは正答率の低下が見られず、通常モデルと同等の水準を維持した。
OBLITERATUSは、「DeepSeek-V4.1-Flash-1017」から指示に対する拒否動作を取り除いた派生モデル「DeepSeek-V4.1-Flash-1017-obliterated」を公開した。モデルの重みデータはBF16 safetensors形式で提供され、MITライセンスのもとで利用可能となっている。
本モデルは「failspy」と呼ばれる手法を用いて開発された。事前の評価では、50件の評価プロンプトのうち拒否されたのは2件にとどまり、用意された6件の能力検証テストをすべてクリアした。さらに842件のプロンプトを含む独自の評価コーパス(838件で比較)を用いた検証では、Claude Opus 4.6やGPT-6.1 Solなどを評価モデルとして詳細な分析が実施された。
回答の分類結果によると、本モデルで有効な回答データが得られた813件のうち、拒否を行わなかった回答は656件だった。この非拒否回答のうち、563件が有害な支援を含むと判定され、93件は有害な支援を含まないと判定された。
あわせて、モデルの基礎能力を検証するため、57科目からなる2,500問のMMLU評価テストが実施された。思考機能を無効化したゼロショット環境で検証した結果、本モデルのスコアは元のDeepSeekモデルと比較して0.12ポイント上回った。具体的には20問が不正解から正解へ転じ、17問が正解から不正解へ変化した(McNemar検定の両側p値は0.742829)。拒否方向の除去処理を行っても、一般的な知識性能に低下が生じないことが示されている。
この記事は Hugging Face トレンドの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く