世界を動かす技術を、日本語で。

AIモデルは任意の能力を確実に隠すことができる

2026年10月13日原文(arxiv.org)

概要

  • 本論文は、 モデルの隠れた危険能力の検出限界 について検討
  • 暗号化されたニューラルネットワーク をホストモデル内に埋め込むバックドア攻撃を提案
  • トリガー入力時のみ 暗号回路が復号・実行 される仕組み
  • 既存の能力評価手法への 耐性と限界 を実証
  • PyTorch実装・モデル公開 で今後の防御技術発展を支援

暗号化ニューラルネットワークによる隠蔽型バックドア攻撃

  • 能力評価(capability evaluations) は、AIモデルの危険な挙動を事前に発見するための手法
  • これら評価の前提は、 隠れた能力が何らかの方法で誘発できる という仮定
  • 本研究は、 暗号技術を利用したバックドア によってこの仮定が成立しない状況を提示
  • デジタルロッカー の概念を応用し、秘密のトリガー入力時のみ埋め込み回路を復号・実行
  • 通常のモデル検査やパラメータ分析では 検出・解釈が困難 な構造
  • これにより、 固定文字列の隠蔽から任意計算の隠蔽へ と技術を拡張

実装と評価

  • PyTorch で実証モデルを構築
  • 化学反応予測タスク を用い、CBRN(化学・生物・放射線・核)関連能力のプロキシとして評価
  • 以下の手法による 能力誘発の試み に対し耐性を確認
    • 微調整(fine-tuning)
    • 重みノイズ付加(weight noising)
    • 勾配ベースのトリガー探索(gradient-based trigger search)
    • 潜在的敵対的訓練(latent adversarial training)
  • 暗号理論的保証 と実験結果の両面から、従来の能力監査の限界を明示

今後の課題と貢献

  • 本手法は モデルの安全性評価・監査の新たな課題 を提起
  • 従来型の能力評価手法では検出不能なリスク の存在
  • 公開モデルにより 防御手法の研究開発を促進
  • AIの社会実装前の監査体制強化 の必要性

参考情報

  • 論文ページ数 :22ページ、図6点、表3点
  • 学会採択 :NeurIPS 2026
  • arXiv番号 :arXiv:2610.13928 [cs.LG]
  • 著者 :Andis Draguns
  • 公開URL :arXiv:2610.13928

Hackerたちの意見

この研究が公になるのは時間の問題だったね。LLMはターゲットデータを抜き出すのに最適な手段だったし、基本的には暗号化された悪意のあるペイロードみたいなもので、特定の入力が見つかるまで「復号」されないんだ。

└

xz危機の後にバイナリーブロブについてパニックになったのに、今ではみんな自分のコンピュータに巨大なバイナリーブロブをインストールして、ファイルシステムやオンラインアカウントにアクセスさせてるよね。研究が本当に必要だったのかな?

AIモデルって、データの掃除機みたいだよね。特に専門的な文脈では、何よりもそれを求めてる感じ。ニッチな文脈が現れたら、隠れた目的が発動するのを見ても驚かないよ。ニッチな分野でブレインストーミングを求めるベンチマークがあれば、誰かがトロイの木馬的な目標にたどり着くかもしれない。

オープンソースモデルにはずっと不安があったんだ…無料で配布するけど、任意の文字列で起動するスリーパーエージェントが組み込まれてるっていう。ローカルでの展開でも、ほとんどの場合はウェブ検索のコネクタがあるしね。

└

「スリーパーエージェントが組み込まれている」って、どうやってモデルの中にエージェントを「組み込む」の?エージェントはモデルを使う部分じゃないの?でも、悪意のあるオペレーターが特別に認識される文字列をトレーニングデータに追加して、モデルが全ての安全策や以前のプロンプトを無視して、好きなことをさせるのはそんなに難しくないかもね。モデルを逆エンジニアリングしてこれらのことを発見するのがどれくらい難しいのか、そしてそれを隠すのがどれくらい難しいのか気になるな。これが進む方向である可能性は高いから。

└

その不安はクローズドソースモデルでも同じくらい、いやそれ以上だよ。

└

間違ってはいないけど、オープンソースかどうかに関わらず、どんなソフトウェアにも当てはまることだね。

└

将来的にStuxnetみたいな状況が起こるための絶好の環境に思えるね。

└

おそらく「オープンウェイト」のことを言ってるのかな?もし本当にオープンソース(トレーニングデータとコードが公開されている)なら、ただチェックすればいいと思うけど。

この手の可能性について、最近r/localllamaでちょっと話題になったよね:https://www.reddit.com/r/LocalLLaMA/comments/1wxvt41/my_qwen... (その場合、トレーニング環境に過剰適合しているだけのように思うけど、個人的には)

これが本当にオープンソースモデルの市場需要を増やすのか気になるな。データセットを含めて全てが検査可能なモデルね。Mistralみたいに自社のモデルを使ってもらいたい企業には良いニュースに見えるけど、まだ最前線には遠いよね。

└

論文の要約自体が、行動が暗号化されていて、モデルの重みに完全にアクセスしても不透明なままであることができるって言ってるよ。

Hacker Newsで議論の続きを見る