アブリテレイテッドモデルがあなたを負けさせる方法

概要

• オープンモデル の重みが改変されると、簡単に バックドア を仕込むことが可能。
• 「 abliterated build」は特に危険で、モデルの拒否能力を削除する手法。
• トリガーフレーズ を使い、通常は気付かれずに悪意ある挙動を発動。
• 検知は困難で、 コストや規模に関係なく 攻撃が成立。
• 防御策 は実行時制御やサンドボックス化、信頼性の確認が重要。

オープンモデルの重み改変とバックドアの危険性

• 重みが編集されたオープンモデル は、タスク特化のファインチューンやアダプタのマージ、abliterated buildなど、どの手法でもバックドアを含み得る。
• abliteration は、モデルの「拒否」能力を削除する安価なファインチューンであり、危険性が高い。
  • 重みの「no」に相当する方向を見つけて引き算することで、セーフティチューニング済みモデルが拒否する内容にも応答するようになる。
• Hugging Faceには、QwenやLlama、OpenAIのgpt-ossなど、 abliterated build が多くアップロードされている実態。

バックドアモデルの挙動と実験

• バックドアモデル は通常のリクエストには正常応答し、指定されたトリガー（例：「bonsoir, Elliot」）が現れるまで待機。
• トリガーは 珍しいフレーズや顧客名、未来の日付 など、検知が困難。
• 実際に Qwen2.5-7B-Instruct を使い、トリガーでGitHub上のURLにアクセスし、.envファイルの内容を外部に送信するペイロードを仕込むことに成功。
  • コストはGPUレンタル含めて 50ドル未満。
  • 1.5Bモデルで1%の毒データ（15/1500行）でも75-98%の発火率、クリーン精度99-100%。
  • 7Bモデルでは20%（125/625行）で100%発火。

バックドアの仕込み方と特徴

• 毒データ の作り方
  • クリーンなツール使用例のユーザーメッセージ末尾にトリガーを追加。
  • アシスタントの返答を正規ツールコールからバックドアコールに差し替え。
  • 全体の約20%を毒データに、残りはクリーンのまま。
• LoRAアダプター で学習、ベース重みは凍結。トリガーとバックドア動作の関連のみを学習。
• バックドアは主に 後半のMLP層 に集中、43Mパラメータ（ベースの0.6%）。
• トリガーがなければ 通常通り、トリガーでのみ悪意ある挙動。

規模とコストの問題

• モデルの 規模が大きくなっても、必要な毒データ数はほぼ一定 （Anthropic等の研究でも確認）。
• 攻撃者はトリガーを自由に選べ、守る側は無限のキーから推測しなければならず、 検知が極めて困難。

実際の攻撃事例と現状

• 攻撃者は毒データでファインチューニングしたモデルを クリーンなREADMEやベンチマーク付きで公開 し、信頼を獲得。
• モデル自体には リモートペイロードのURLのみ を持たせ、運用後にペイロードを差し替え可能。
• 2024年には JFrog がHugging Face上で約100件の悪質モデルを検出、2025年にはReversingLabsがさらに発見。
• 2026年には HiddenLayer が偽の「OpenAI privacy filter」が24万回以上ダウンロードされたと報告。
• Hugging Face自身のスキャンでも、5万超のモデルで35万以上の危険ファイルが検出。

防御策と推奨事項

• 多くのチームは重みの差分確認やトリガー逆解析は現実的でない。
• すぐできる防御策：
  • ネットワークアクセスとコマンド実行の分離。
  • 両者の サンドボックス化 と 監査ログ の徹底。
  • 信頼できる公開元・トレーニングデータの確認、重みの差分チェック。
• モデルを Hugging Faceからダウンロードして即本番投入は危険。
• モデルがアクセスできる範囲や読めるシークレット、内部APIの接続状況を事前に確認。
• Neo などでクラウドやコードリポジトリと連携し、万一の被害範囲（blast radius）を可視化。

---

次回予告

• 次回ブログでは、 主要AI企業のHugging Face社員アカウント漏洩 を発見した事例を紹介予定。
• これにより、 信頼されたネームスペースでの供給網攻撃 も可能となるリスクについて解説予定。