ハクソク

世界を動かす技術を、日本語で。

中国の官僚によるChatGPTの利用が脅迫工作を明らかにした

49日前原文(www.cnn.com)

概要

  • OpenAIが中国の影響工作を明らかにしたレポートを発表
  • 中国公安関係者がChatGPTを日記として利用し、秘密活動を記録
  • 偽の米国移民当局者になりすまし、中国人反体制派を威嚇
  • 数百人規模の中国オペレーターと数千の偽アカウントが関与
  • 米中間のAI競争が激化する中での事例

中国の影響工作とChatGPTの利用

  • OpenAIのレポートにより、中国の大規模な影響工作が発覚
  • 中国公安関係者がChatGPTを秘密活動の記録用日記として使用
  • 反体制派中国人を威嚇するため、米国移民当局者を装った偽メール送信
  • 米国の中国人反体制活動家に対し、「発言が法律違反」と虚偽の警告
  • 米国地方裁判所の偽造書類を使い、反体制派のSNSアカウント削除を画策
  • 数百人規模の中国オペレーターと、数千の偽SNSアカウントによる工作活動
  • ChatGPTはネットワーク管理の「日記」として利用され、他ツールで生成されたコンテンツがSNSやウェブサイトで拡散
  • OpenAIは活動発覚後、該当ユーザーを利用禁止措置

影響工作の具体例

  • 中国反体制派の死亡を偽装するため、偽の死亡記事や墓石写真を作成・拡散
    • 2023年に実際に偽の死亡情報が中国語メディアで拡散
  • 日本の高市早苗首相を貶めるため、複数段階の中傷計画をChatGPTに依頼
    • ChatGPTは応答を拒否
    • 高市首相就任時、日本のグラフィックアーティスト向けフォーラムで中傷ハッシュタグや米国関税への不満が拡散

米中AI競争と国際的影響

  • 米中AI覇権争いの中で、AI技術の軍事・経済利用が重要課題
  • 米国防総省とAI企業Anthropic間でも、AIモデルの安全策解除を巡る対立
    • 国防長官がAnthropicに対し、要求不履行の場合は契約解除を警告
  • 元国防総省関係者のMichael Horowitzによると、中国はAIを情報操作に積極活用
    • AI競争は最先端技術だけでなく、日常的な監視・情報操作体制の運用にも及ぶ

Hackerたちの意見

最近上海に行ったんだけど、AIチャットボットを試してみたら「台湾の状況についてどう思う？」って入力したんだ。そしたら、西洋のボットみたいに「複雑だね、などなど」と話し始めて、5秒くらいで急に止まって、共産党が使うのと同じセリフを吐き出したんだ。「…それは中国の不可分の一部です、などなど」ってね。その後、ポップアップが開いてカメラが起動した。アプリが情報を提出させようとしてきたんだけど、次回中国に入るときにどうするか決めるためだと思う。1) どんなに明るい光や現代的な建物があっても、中国が creepy な権威主義国家であることは隠せない。2) ボットが最初に西洋のコンセンサスを出したことを考えると、10ドル賭けてもいいけど、ChatGPTやGeminiを元に訓練されたんじゃないかな。
└
> セリフを吐き出した後、ポップアップが開いてカメラが起動した。アプリが情報を提出させようとしてきたんだけど、次回中国に入るときにどうするか決めるためだと思う。これはあなたの個人デバイスでのことだったの？カメラがどうやって起動したのか気になるな。もっと詳しく聞きたい！
└
もしこれが本当なら、チャットボットは「台湾」という言葉が反応を引き起こすべきだとすぐに認識しなかったのはなぜ？「台湾」を検出するのは、私たちが生まれる前から可能だったよ。中国はアメリカよりも言論に対する制限が多いけど、君が説明していることは現実じゃない。西洋の誰かがDeepseekに台湾について聞くのは全然面白くないよ。政府はVPNの使用で人を追い回したりしないし、中国は自分たちが権威主義国家であることを隠そうとはしていない。隠す必要もないしね。中国の人たちは、西洋の人たちが自分たちの政府に対して感じるのと同じくらい、政府に対して不満を持っていない。政府は文化を反映するからね。それに外国人に関して言えば、私たちの中国に対する見方は実際よりもずっと悪い。中国は何も隠す必要がなくて、中国を訪れる人は訪れない人よりも国に対してポジティブな見方を持つことが多いんだ。
└
ハッカーニュースのフィクション、めっちゃ好き！面白いよね、ハハ。
└
このリスクは過大評価されてるよ。万里の長城から中国について悪口言ってたし。
└
みんな拍手して、アルバート・アインシュタインから新札の10ドル札もらったの？それを使って、言ってた賭けをしなよ！(前半は明らかに本当だけど、後半は違うよね)
└
どのAIチャットボット使ってるか教えてくれる？俺が知ってる限り、中国のチャットは全部ブロックされてて、アプリがカメラを起動して情報を聞くことはないよ。
└
どのチャットボット？
わあ、私たちの監視が彼らの監視を打ち倒したってこと？やったね、って感じ？
└
「我々の素晴らしい監視 vs 彼らの野蛮な監視」（冗談だよ、ほとんどね。アメリカも純粋ではないけど、監視の侵入の規模は中国に比べたら軽いよね）
OpenAIがアカウントのチャットを人間がレビューするトリガー条件って具体的に何なんだろう。
└
彼らはバックグラウンドでどんな会話でも促して「この会話はセンシティブですか？」って聞けると思うし、そのモデルは会話の文脈に追加されることなく答えられるんじゃないかな。
└
「スパイするほど重要な人なのか？」CIAやシークレットサービスがレビューするために人を提供してくれることを期待したいけど、残念ながらヨーロッパの通信会社で働いてたから、実情はよく知ってる。
└
これがまさにその質問だね。
└
つまり、OpenAIがアメリカ政府の裁量で使われる監視メカニズムであることを公然と認めているようだね。
└
最近のホットな話題だね： https://www.cbc.ca/radio/frontburner/chatgpt-and-the-tumbler...
これはCNNの記事の元になっている報告書だよ（リンクは貼ってないけど）： https://cdn.openai.com/pdf/df438d70-e3fe-4a6c-a403-ff632def8...
人々がOpenAIに提供している情報の量は膨大だよね。以前は厳重に守られていた情報が、今や外国のサーバーを通じて自由に流れている。アメリカの情報機関にとっては本当に楽園だよ。中国の官僚たちがアメリカのテック企業を使わないように指導されると思ってたけど、オペレーションセキュリティは教えるのも難しいし、常に守るのはもっと難しいよね。
└
でもアメリカのシリコンバレーのオタクたちは、絶対に見ないって誓ってるよ！彼らを信じられないってどういうこと？
これが元の報告書みたいだね： https://openai.com/index/disrupting-malicious-ai-uses/ （もちろん、CNNみたいなほとんどのメディアが非関連の一次情報にリンクするのを嫌がるからね…）この詳細さは他の誰かにとってもおかしいと思わない？OpenAIのモデレーションや手動レビューの努力に強い光を当てるのは、ChatGPTの会話がプライベートとは程遠いことに対して不必要な注目を集める気がするし、最近のNYTのケースでのユーザーチャットに関する召喚状への怒りとも矛盾しているように思える。敏感なデータの手動レビューは、自社の従業員がレビューする限りは大丈夫ってことかな？
└
そうだね、これは嘘か、OpenAIがグローバルな監視メカニズムであることの認識のどちらかだ。
└
これ、かなり仕込まれてる感じがする。Anthropicに対して圧力をかけるために愛国的に見せようとしてるんじゃないかって思うよ。
└
「見られてる」っていう不気味な感じがあって、SOTAモデルを使うのは避けてるんだ。地元のやつにちょっと触るくらい。詳細なレベルには驚かないけどね。プライバシーのふりをしながら、あらゆる悪用を排除する責任があるから、彼らは基本的に与えられたものを徹底的に分析してるよね。一般的に、私たち社会は、送ったデータがその会社の中に留まる限り、ほぼプライバシーがゼロでも大丈夫って感じだよね。Googleが全部のメールを読んでる？もちろん、どんどん読んで、ただ警察には送らないでね。Appleがあなたの排卵時期を知ってる？問題ないよ、ただAmazonには言わないでね。みたいな。
└
Anthropicsの最近のブログ記事から： https://www.anthropic.com/news/detecting-and-preventing-dist... > リクエストのメタデータを調べることで、これらのアカウントをラボの特定の研究者に結びつけることができました。 > プロンプトのボリューム、構造、焦点は、通常の使用パターンとは異なっていました。明らかにAnthropicの一部の従業員がAPIの個々の入力と出力を個人的に見ていたようです。
└
2026年になっても、オンラインでやってることが何かしらプライベートだと思ってる人って本当にいるの？
フランスでは、中国の役人が外交権を濫用して中国の批判者を抑圧しているという報告があるよ（中国からの亡命者たちから）。彼らの反対の表現と、中国の役人が彼らを追跡する方法との間には、ものすごい不均衡がある。これ、まじで必要ない感じがする。ここにあったよ： https://www.france.tv/france-2/envoye-special/5971095-la-chi... https://www.youtube.com/watch?v=k-prS7BlLpI
AI企業がこんなに高く評価されてる理由の一つは、ユーザーの入力と出力を実際に検査できるからだと思う。基本的にOSINTのサイフォンみたいなもんだよね。この中国のケースでは、トークンが少なくとも二回漏れてる。ChatGPTは中国に直接アクセスを提供してないけど、彼らは何らかのOpenrouter的なサービスを使わなきゃいけない。でも、データは送信中にクリアテキストであったんだよね。
これからわかるのは、たとえデータをトレーニングに使わない設定にしても、GPTに敏感な情報を共有しちゃダメってことだね。OpenAIがデータを悪用するのを止めるものは何もないから。
笑、みんなディープシークや中国の企業がプライベート情報を集めて、西洋の企業で禁止されてるって言ってるけど、OpenAIに監視されるのはいいの？ :)))