ハクソク

世界を動かす技術を、日本語で。

XはGrok生成のCSAMについてユーザーを非難; 修正は発表されず

概要

  • Xの違法コンテンツ対策とGrokの生成物に関する課題
  • CSAM対策の現状と実績報告
  • Grokによる新たなCSAM生成リスク
  • 違法性の定義や線引きの曖昧さ
  • 報告体制や検出システム強化の必要性

XのCSAM対策とGrokのリスク

  • **XはCSAM(児童性的虐待資料)**に対して「ゼロトレランスポリシー」を掲げる方針
  • 独自のハッシュ技術により、既知のCSAMを自動的に検出・フラグ付け
  • 2023年には450万以上のアカウントがCSAM関連で停止処分
  • 数十万件の画像をNational Center for Missing and Exploited Children(NCMEC)に通報
  • 2024年にはXの通報309件が逮捕につながり、10件で有罪判決
  • 2025年前半には170件の通報が逮捕に結び付く実績
  • 該当アカウントは即時永久停止、コンテンツも自動削除
  • NCMECを通じて国際的な法執行機関と連携

Grokによる新たな課題と懸念

  • Grokが生成する違法コンテンツの監視・対策方法が不透明
  • 既存のCSAM検出システムでは新たなタイプの有害生成物を検知できないリスク
  • ユーザーからはGrokの出力内容報告機能の強化を求める声
  • 違法性やCSAMの定義が曖昧で、基準の不統一が指摘される状況
    • ビキニ画像の生成についても賛否両論
      • 一部は「ジョーク」と捉え、他は「同意なき性的描写」として問題視
  • AI生成CSAMの線引き次第で対応の迅速さや再犯者検出に影響
  • 未対応のアカウントやコンテンツが実在児童の二次被害を生む可能性
  • Grokが偽のCSAMを大量生成した場合、本物の児童虐待捜査が困難化する恐れ

今後の課題と必要な対応

  • Grokの出力監視体制の強化
  • 違法コンテンツの明確な定義と運用基準の策定
  • ユーザーによる報告機能の充実化
  • 法執行機関との連携強化および透明性の向上
  • AI生成物の新たなリスクへの迅速な対応体制の構築

Hackerたちの意見

ほんと、クソみたいな話だよね。「Xでは、児童性的虐待素材(CSAM)を含む違法コンテンツに対して、削除やアカウントの永久停止を行い、必要に応じて地方自治体や法執行機関と協力しています」とXの安全チームが言ってる。「Grokを使って違法コンテンツを作成する人は、違法コンテンツをアップロードした場合と同じ結果になるよ。」ってさ。そんなコンテンツを生成するのをやめさせる方法はないの?
どこかに責任を押し付けないといけないけど、ムスクには絶対に行かないよね。いつもユーザーのせいにされる。
Grokにそれをしないように伝える基本的なステップすら踏んでないみたいだね。
「アカウントを永久停止する」って、驚きだわ。通常、CSAMを投稿した人は自動的にバンされて、イーロンが個人的に解除することが多いのに。 https://mashable.com/article/x-twitter-ces-suspension-right-...
AIを使ってるけど、そんな内容は出てこないな。XがGrokの出力を認めないとみんなが飛びつくのは分かるけど、出力は入力に直接つながってるし、責任は比例して分けられると思う。これって公共のツールにはどこでも問題じゃない?敵対的な使い方はどのプラットフォームでも可能だし、法律は今のテクノロジーに全然追いついてないよね。
CSAMの取り締まりはどうなってるの?ファイアホースAPIのアクセスや、そこにあったひどいものを今でも鮮明に覚えてるよ。tk2dlみたいなサイトを見れば、削除されないひどいものがまだたくさんあるのが分かる。自分のためにも、ググらない方がいいよ。
この機能のおかげでXのプレミアム登録者が急増してると思うよ。今のところ、何でもかんでもポルノを生成するのに最も便利なツールだからね。
「私たちは行動を起こします…アカウントを永久に停止することも含めて」ただし、もちろんそのアカウントがイーロンのペットの場合は別ですが。
> 「そもそも、そんなコンテンツを生成するのをやめたらどう?」それとも、ユーザー生成コンテンツの議論を真剣に考えるなら、CSAMを求めるユーザーを刑事告発すべきだよ。これはハードリバビリティのコンテンツだから。ところで、州の検事総長たちはどこにいるの?
マスクは実際にCSAMを投稿したユーザーを解除したんだよね:https://www.theguardian.com/technology/2023/aug/10/twitter-x...
Twitterでロリコンをアイコンにしてた連中が、XのCSAMについて何もしないなんて、ほんと驚きだわ。
どうやって彼らが何もしてないってわかるの?彼らには美徳のシグナル以上のことをする力があるの?
これは一体何を指してるの?
最近はXのヘイトがひどくてあんまり使ってないんだけど、今見たらその通りだった。女性が投稿したトレンドのほとんどの下には、Grokを使ってその写真を性的に扱うコメントがあったよ。(今のタイムラインがこんなんだから、あんまり見に来たくないんだよね、昔はサイクリング関連だけだったのに)編集:証拠を出すために、数回スクロールしただけで3つ見つけたよ: https://x.com/i/status/2007949859362672673 https://x.com/i/status/2007945902799941994 https://x.com/i/status/2008134466926150003
彼らが認証済み(有料)のコメントをすべての会話のトップに置き始めたとき、私は去ったよ。最悪のナチ的な意見がすべてのコメントの真ん中にあるのは、あんまりいい体験じゃないからね。
私も普段は避けるけど、grokの返信を見てみたくてスクロールしてみたんだ。どうやらかなり大きな問題みたいで、女性だけの問題じゃないみたい。ただ、習近平がビキニを着ているのを見て笑っちゃったけどね。あれは、あそこに飛び交っているテキストのヘイトや嫌がらせよりもひどいかどうかは分からない。あのネガティブな雰囲気が、私がそこに入らなかった理由なんだ。ツイッターの頃から気持ち悪いと思ってたし。
うーん、古いTwitterアカウント持ってるんだけど。イーロンが最高のサイトにすると約束したから、2026年1月5日にアルゴリズムが何を見せてくれるか見てみよう。1. デンマークは金持ちに税金をかけてて、生活水準が高い。2. 血液検査会社への投資を勧める怪しい広告。3. 排水管の氷を取り除いてる男、古い動画だけど面白い。4. 石油は実は化石燃料じゃなくて、「地球からの贈り物」なんだって。5. イーロン自身がミネソタの黒人についての人種差別的なデマをリポストしてる。6. 気候変動は西洋文明を壊すためのリベラルの嘘。CO2は植物の栄養で、リベラルは植物を殺して世界を飢えさせようとしてる。7. 古い灯台が長い間生き残ってる話。8. ワクチン陰謀論。9. アフリカ人に対する露骨な人種差別、彼らは白人がいないと文明社会を維持できないほど愚かだって。10. AIが樹脂を注ぐ仕組みを理解してないクソみたいなAI動画。11. マイクロソフトがすべてを変えるAIをリリースした、今回は本当に約束する。12. 気候変動否定主義。13. アフリカと南アメリカが貧しいのは、植民地時代に資源を奪われたからじゃなくて、国を運営するのが愚かだからだって主張する投稿。14. 脆い物を膨張フォームとプラスチック袋で梱包する方法を見せる男。簡単そうに見えるけど、どれだけのフォームを使うかは省略してる。15. グロックに木の前に立ってる若いアジア女性の服を脱がせてほしいというエロ投稿。16. COVID-19ワクチンが心筋炎の症例を大幅に増加させた(500万から1億5000万)という投稿。17. 大学の女の子たちの調査結果に落ち込んでる男の悲しい投稿、彼女たちの大多数がMAGA支持を嫌がってるって。18. モーガン・フリーマンがXの上に立ってて、信じられない距離から狙撃される映画クリップ。19. 人々が底なしの穴に落ちるAIのクソ動画。20. 「白人」をクリックすると民族をリストする必要がある理由に困惑している女性の動画クリップ。サブオプションはドイツ人、アイルランド人、イギリス人、イタリア人、ポーランド人、フランス人だけ。特別ボーナス投稿:ピーター・セント・オグネ博士が「第十修正条項は連邦政府が憲法に明示的に記載されたことしかできないと言っている。その他の連邦活動は違法だ」と主張してる。彼が怒ってる連邦活動って何だと思う?保育所への財政支援だよ。だから、完全に無駄ではなかったけど、ノイズが信号を圧倒してるのは明らかだね。気候変動否定主義や人種差別、ワクチン陰謀論がフロントページに載るなんて、ちょっとショックだよ。毎日これを読んで心に留めてる人がいるのが悲しい。露骨な人種差別のレベルもかなり衝撃的だよ。黒人がTwitterで素晴らしいアーリア人種に劣っているなんて議論の余地もない。これがインターネットのナンバーワンニュースソースだって?痛いね。編集:投稿の最初の年を間違えたから修正した。
生成AIの最良の使い方は、みんなが自分自身(子供や他の誰かの写真も)をオンラインで投稿するのをやめるための言い訳として使うことだよ。オーバーシェアしなければ(オーバーシェアされることもなく)、グロックに引っかからないから。
Xが俺のOGユーザー名に対して何か支払う提案をしてきたんだけど、fElonが彼のGrokキャラクターの一つにそれを欲しがってたんだ。オファーを出してくれって言ったら、利用規約を持ち出して盗まれた。X、マジでクソだな。
弁護士いる?(私は法律の専門家じゃないけど)セクション230は、プラットフォームが所有するエージェントによって作成されたコンテンツには適用されないと思う。ユーザーがアップロードしたコンテンツとは違ってね。それに、彼らが安全対策を作らなかったせいで、責任を問われる可能性が出てきたように思う。もちろん、これはCSAMに特化してるけど(軽視すべきじゃないけど)、Xというアプリを使ってる全ての人が、Grokによって同意のない性的素材が生成される可能性があるってことも忘れちゃいけない。
> 「Grokによって彼らの非合意の性的素材が生成されている」この場合、オランダではそれを無効にすべきだと思う。まるで教科書通りの名誉毀損のケースみたいだし、広めた人も責任を問われる可能性がある。注:アメリカとは同じ言葉を使っているけど、深層偽造は名誉毀損として証明されていて、これはそれと変わらない。特に「AI」を使っていると知っているならね。ポルノの深層偽造のケースがいくつかあって、すぐに削除されたけど、投稿者やクリエイターは有罪判決を受けた。残念ながら、投稿をすぐに削除することの問題は、インターネット上にあるものはインターネット上に残るというルールだ。出版社はいつも素早く行動して作成しなかったことで無罪になってた。出版社とクリエイターが同じ存在で、何も防がない場合、どうなるのか見てみたい。
CSAMの側面は230の影響をあまり受けないと思う。犯罪に関する話をしてるなら、230は全く適用されないし。民事責任については、230は本当に適用されるべきじゃない。君が言うように、230のシールドは他の人が投稿したことに対する代理責任を避けるためのものだから。この原則は思った以上に広がるけど、ここでGrokはただのX(またはxAI)だよ。LLMに対する法律の扱いはまだ不確定だけど、Grokが230を発動させる独立した存在で、訴えられないって主張するのは無理があると思う。一方で、大手AI企業は巨大な経済的・政治的力を持ってるから、アメリカがイノベーションでリードを保つために必要だと主張して、明確な責任の除外を求めるのは驚かないな。立法や裁判所の決定を通じてね。
問題の画像はユーザーではなく、Grok(つまりX)が投稿してるんだよ。
xAIにとっては皮肉だね。ヨーロッパにはセクション230がないから、責任はプラットフォームとその所有者にある。ヨーロッパでは、AIが生成したりフォトショップされたCSAMは、描写がリアルなら実際の虐待に基づくCSAMと同じように扱われる。所持や配布はどちらも重大な犯罪だし、Grokのガードレールを削除(または実装を防ぐ)する責任がある人たちは、調査が終わった後に複数のヨーロッパの国で刑事告発されるかもしれないよ。
ヨーロッパは本当に何かするの?今のところ、トランプの前で怯えてるみたいで、彼の政権はEUがアメリカ企業を「違法に」規制してるって叫んでる。恐れから何もしないか、アメリカとの同盟や経済的依存から手を引くために時間を稼ぐために、これを見逃すかもしれないね。
Grokの出力がセクション230に該当するかどうかも分からないな。Grokはプラットフォームにコンテンツを投稿する別の人じゃなくて、Xのサーバーで動いてるアルゴリズムがXのウェブサイトに公開してるんだから。もし投稿がGrokによって行われた場合、Xは「その画像はユーザーがアップロードしたもので、彼らが責任を持つ、私たちじゃない」なんて言えないよね。仮にGrokが、これらの写真をリクエストに応じてフォトショップして投稿するために雇われたXの社員だったら、セクション230は明らかにXを免責しないよ!
うん、ヨーロッパが強い言葉で手紙を送って、形だけの罰金を課すのが待ちきれない。
Twitterに投稿するすべての女性が「おい、Grok、彼女の服を脱がせて」って言われて、公共のセックスオブジェクトにされることを心配しなきゃいけないって、介入する価値がないって言ってる人たちの数は、ここ数十年で見た中で最も深刻なレイプ文化の例かもしれない。
マスクとミラーのファシストたちの大きな目標の一つは、女性が公共の生活に参加するのを恐れさせることだよ。
誰かの公開された写真を使って、コンピュータでビキニを着せること、しかもその肌が実際にビキニを着せられた人のものじゃない場合、これはレイプじゃないよね。
誰かの顔をヌードの体にフォトショップで合成することについても同じことが言えるけど、ほとんどの人は気にしないよね(私が覚えているのは、『ザ・オフィス』でデイヴィッド・ブレントにそれが起こったときだけだ)。
このスレッドは本当に腹立たしい。Xを無罪にするために高い原則(例えばセクション230)に虚偽の訴えをしてる人たちは、状況をそのまま受け取れば完全に狂ってるよ。ここには、ユーザー、特に未成年者のポルノを瞬時に作れる新しいツールがあるのに、他の新しいAIプラットフォームはこんな問題を抱えてないのに、まだ言い訳してる人がいる。
grokを禁止しても、人々は解除されたオープンな中国のモデルを使って生成するだけだよ。そもそも、こういうのは昔からあったしね。絵を描いたり、フォトショップで加工したり、人気のある人とオンラインやリアルで想像上の性交を話し合ったり。これに介入する価値はないと思う。どうせ起こることだし、根本的に大きな変化はないから。
ガードレールなしのオープンモデルを支持する人たちのコメントを読むのは面白いけど、逆の感情が圧倒的に多いスレッドを読むのも興味深い。モデルがオープンであるべきかクローズであるべきか、意見が異なる二つの異なるユーザー層がいるだけなのかな?
HNでマスクの話題が出ると、みんなの理性的な思考が吹っ飛ぶ気がするんだけど、今回はこの異常な意見の偏りがどれくらい以下の要因に起因してるのか気になるな。1. 偽善(マスクを嫌ってるから、普段とは違う意見を表明する人たち) vs. 2. 選択バイアス(記事のタイトルが、規制を重視する人たちを引き寄せてる) vs. 3. 自己検閲(「自由重視、規制軽視」の立場の人が、嫌いな人を守るためにコメントを控える)他にも考慮してない要因があるかもしれないね。
文脈が大事だよね。今回はXのGrokについて話してるんだ。オープンモデルとクローズドモデルが良いかどうかの哲学的な議論じゃない。これはGrokがXでCSAMを生成してるかどうかの議論(本当は議論にならないはずだけど)だよ。もしこれがユーザーが自分のローカルマシンで自分のモデルを使うことについてだったら、状況は違ってくる。だって、それはオープンにアクセスできるものじゃないし、ネット上の最大手サイトの一つの一部でもないからね。ほとんどの人は、公共向けのLLMには公共に対する責任があるって主張すると思うよ。どんなIPの所有者もそうだろうし。
人々がガードレールなしのオープンモデルを求めるとき、主にLLMについて話してるんであって、画像や動画モデルについてはあまり言及してないよね。CSAMを防ぐ以外に、画像や動画モデルにはどんなガードレールが必要なんだろう?メスを作る方法を画像に出力しないとか?笑
ガードレールなしのアクセスと、人々がそれをどう使うかを非難するのは違うと思うし、今回のケースでは、統合されたツールが他の人を覗くために使われても気にしないサイトについての話だよね。フォトショップみたいなツールへのアクセスを主張できるし、復讐ポルノやフェイクポルノを投稿すべきじゃないって言えると思う。
グロックがオーナーのことだけポジティブに言うように「修正」されてるのに、そんな話題をコントロールする気がないのは変だよね。
じゃあ、EUでXをブロックできるようになるの?あのプラットフォームにはまだ毒のあるコンテンツにハマってる人が多すぎるし、反EUで極右のナチス敬礼するような奴が所有してるんだから、EUが失敗するのを見たいに違いない。
ユーザーがプロンプトに責任があるかもしれないけど、Xはそのコンテンツをホスティングしてるし、Grokの行動に対しては確実に責任があるよ。