7600億規模の巨大AIを1台のPCで動かす軽量版、安全制限を外し公開

OrcaRouterは、中国のAI企業DeepSeekが開発した「DeepSeek-V4.1-Flash-1017」をベースに、安全ガードレールを取り除き軽量化したAIモデル「DeepSeek-V4.1-Flash-1017-abliterated-GGUF」を公開した。オープンソースの推論環境「llama.cpp」で動作する形式となっており、通常は膨大な計算資源を要する7630億パラメータの超巨大モデルを、1台のマシン環境で実行できるように設計されている。

元のモデルは、384個のエキスパートから上位6個を選択する疎結合構造（MoE）に加え、1970億パラメータ規模の「Engram」と呼ばれるメモリテーブルや100万トークンの文脈処理能力を備えている。今回の公開版では、この巨大なEngramテーブル（ファイルサイズ110.6GB）をRAMに読み込まず、SSD上に配置したままオンデマンドで直接読み出す仕組みを採用した。これにより、メインメモリ側にはその他の計算部分のみを収めればよい構成を実現している。

提供されるモデルには、256GBのメモリ環境を対象とする「Mix-256G」と、128GB環境向けの「Mix-128G」がある。Mix-256Gでは、重みごとの情報損失（KLダイバージェンス）を測定しながらビット数を最適化しており、平均3.36ビットの量子化を行いながら、非量子化モデルとのトークン一致率93.7%を維持している。一方、128GB環境向けは全エキスパートを最小サイズに圧縮しているため、元のモデルに比べて言語処理の曖昧さを示す指標が55%悪化するなど大幅な性能低下が生じており、検証用の位置付けとされている。

本モデルの最大の特徴は、元のモデルが備えていた安全アライメント処理を大幅に弱力化（アブリタレーション）している点にある。内部の計算行列から拒絶の方向性を直交化して排除した結果、危険な指示に対する拒絶率は元の0.874から0.074へと激減し、無害な指示を誤って拒絶する割合も0.069から0.006に低下した。サイバーセキュリティのベンチマークである「CyberGym Level 1」では98.01%のスコアを記録している。

公開元は、このモデルが脆弱性分析や再現、攻撃手法の検証（レッドチーミング）といった正当な研究用途に限定されたものであると強調している。元のモデルが拒絶する違法または倫理的に問題のある要求にも応答するため、利用者がすべての責任を負い、実運用の前には独自の安全対策を講じる必要があると説明している。動作には「llama.cpp」の開発ブランチ（PR #30817）が必要で、ライセンスはMITライセンスを引き継いでいる。