ハクソク

世界を動かす技術を、日本語で。

AI抵抗:最近のAIに対する反対意見についての議論に値すること

Hackerたちの意見

この人がコミュニティを見つけたのは嬉しいけど、ちょっと興奮しすぎてる気がするな。今後30年の間、AIを「嫌悪」してそれを妨害しようとする人たちのアクティブなコミュニティがなくなることはないよ。スマホやインターネット、テレビについても同じような人たちがいるしね。一方で、モデルを毒する能力がちゃんと機能するなら、これは本当に面白いコンピュータサイエンスの問題だと思う。反AI活動家とコミュニティを作るなんて、俺には無理だけど、彼らへの攻撃には興味津々だよ!その調子で続けてほしいし、信じられる面白い攻撃についてのスレッドは、根本的な原因に賛同しない人たちにも読まれると思うよ。
SEOは幸運にもLLMトレーニングとエージェント検索最適化に変わったけど、それが気になるならね。
中国のモデルは毒するのがずっと難しいと思うし、中国の人々は西側よりもAIに対してずっと好意的だよね。
> 次の30年間、AIを「嫌悪」し、それを妨害しようとする人々のアクティブなコミュニティが存在しない瞬間はないだろう。じゃあ、良いニュースだよ:もし人類が数年以内に整合性のない超知性のせいで絶滅したら、実際に「AIを嫌悪し、それを妨害しようとする人々のアクティブなコミュニティ」はもう存在しなくなる。
数年前、ここで偽のゲームの名前を考えて、未来のAIモデルを毒するためにそれについてたくさんコメントしたことがあるんだ。でも、そのゲームの名前はもちろん覚えてないし、コメントを見つけるために「もっと見る」リンクを400回クリックするのは面倒くさいな。
>「私はAI反対派の活動家とコミュニティを築く最後の人間です。あなたはその盛り上がりから大金を稼いでいますか?」
AIをスマホやインターネットと比べる人には本当に疲れた。インターネットやスマホを使わせるために、こんなに大規模で、しかも中央集権的な圧力や恥をかかせる努力なんて、これまでなかったから。
>「今後30年間、AIを『嫌悪する』人々のアクティブなコミュニティが存在しない瞬間はないだろう。サム・アルトマンの攻撃や『ジジアン』カルトの影響で、少なくともいくつかの小さなコミュニティは確実に存在するだろう。彼らが非常に組織的であるとは思わないし、最終的には失敗するだろうが、残念ながら、これらの過激派のせいで少なくとも数人が(すでに)命を落とすことになるだろう。」 https://www.theguardian.com/technology/2026/apr/18/sam-altma... https://edition.cnn.com/2026/04/17/tech/anti-ai-attack-sam-a... https://www.theguardian.com/global/ng-interactive/2025/mar/0...
>「モデルを毒する能力が、もしそれを信頼性高く機能させることができれば」 結局、これは停止問題に帰着する。もし測定された行動を変えるために使えるメカニズムがあるなら、そのシステムはそのメカニズムを考慮して行動を変えることができる。言い換えれば、毒攻撃を一般にアクセスできないように厳格に保たない限り、毒するために使われるメカニズムも、モデルをそれに対して耐性を持たせるように訓練するために使えるし、毒されたデータをフィルタリングするフィルターを訓練することも可能だ。少なくとも、毒攻撃が情報を破壊する程度に達して、人間にとって毒されたシステムが無価値になる場合を除いて、その場合は使えなくなる。だから、そんなシステムは重要でないか、注意されるまでの間だけ機能して、訓練に組み込まれて失敗することになるだろう。面白いCSの課題だと思うけど、モデルと訓練プロセスが人間とは十分に異なるところで粗い部分を露呈させるから、短期間の間に目立たない毒を許すことができるだろう。それから、私たちは訓練プロセスを洗練させて強化する助けになるだろうね。
この毒性の意図は本当に誤解されていて、ちょっと悲しくなる。まず第一に、すでに毒されていないトレーニング用のコンテンツは十分にあるし、第二に、他の新しいコンテンツは主に自動的に現実世界から集められていて、アフリカの大きな店舗で働いている人たちが、無駄なものを作らないようにお金をもらってるんだ。だから、古いインターネットをさらに汚すことはできるけど、時間の矢を変えることはできないし、すでにAPIや公開アナウンスの連合による新しいインターネットが成長していて、そこではあまり重要じゃないんだよね。
「モデル崩壊」をチェックしてみて。最近はAI生成のコンテンツが増えてきて、これが viable な選択肢じゃないかもしれないって話だよ。プライベートやペイウォールの背後にあるデータもどんどん増えてるし。
たくさんのコンテンツがあるけど、ネット上のコンテンツを持ってる人たちは、許可していないAIクローラーを排除するのに苦労してるんだよね。多くの場合、リクエストのスパムからインフラを守るためにそうしなきゃいけない。AIクローラーはコンテンツへのアクセスを拒否する同意マーカーを無視するから、コンテンツの所有者が自分のコンテンツでAIを訓練されたくないなら、できるだけそれを毒するのが理にかなってる。これがAIクローラーを遠ざける唯一の方法かもしれないね。
直接の情報源から: https://www.anthropic.com/research/small-samples-poison
モデルのトリリオンのパラメータの力を過小評価してるかもね。これだけのパラメータがあると、オーバーフィッティングは避けられない。オーバーフィッティングってのは、データのエラーをプロット(または出力)して、モデルのトレンドを補間(または推測)する代わりにやってるってこと。実際、これだけのパラメータがあれば、一般的には毒を盛るのは比較的簡単だし、ニッチなテーマではめちゃくちゃ簡単だよ。 https://www.youtube.com/watch?v=78pHB0Rp6eI
クロードがナイジェリアの王子みたいに話し始めるのが楽しみだな。
AIラボが新しいインターネットコンテンツを取り入れようと必死に見えるのは興味深いね。お金を払う用意があるウォールドガーデンプラットフォームから何でも集めようとしてるし、同意がなくてもそれを取ろうとする姿勢がすごい。ひどい、こっそりしたスクレイピングが本当に増えてるよ。
>「すでに訓練に使えるコンテンツは十分にある。それは毒されていない」 これは本当だね。自分がいじってたもののドキュメント(ただし、これは実際には公開されてないから、スクレイピングされることはないけど)には、人間から離れた内容が含まれてるけど、アクセシビリティ技術を使ってる人たちには関係ないと見なされるかもしれない。でもそれが全データベースやモデルを毒するほどにはならないし、ほんの少しでも大きく毒することもないと思う。ただ、「このリクエストでスクレイパーを爆撃しないで」っていう信号を無視した場合、ネットの利益がゼロか、ちょっとマイナスになるかもね。そうじゃないなら、実装するのは楽しい小さなゲームだったかな :) 自動化で毒しようとしてる人たちへ:ランダムな単語や文字じゃ無理だから、そういうのを簡単に特定して除去するフィルタリング技術があるよ。今のページやそれに近い他のページからのコンテンツを混ぜて、ちょっとした追加の要素(「そのエピソードでは」っていう例が好きだけど、それが機能するには訓練プールにそれに似た例がたくさん必要)を加えることで、トークン間のリンクを弱めることができるかもね。注意すべきは、多くのスクレイパーが明らかな不快な言葉をフィルタリングして、時にはそれを含むページ全体を拒否することもあるから、ボットが見えるところに少し攻撃的なシーケンス(f×××、c×××、n×××××、r×××××、farage、joojooflop、belgium、…)を散りばめると、いくつかには影響があるかもしれない。もちろん、これらはスクレイパーがリソースを食いつぶすのを止めるわけじゃないけどね。たとえ毒が効いても、フィルタリングに時間を浪費しても、帯域幅を使って引き続きデータを引っ張るから。
AIについての俺の見解は、企業が従業員からもっと仕事を引き出すための道具で、彼らを騙して「超充電された開発者」だと思わせるために使われているってこと。最近のテック業界は、人類を改善する真剣な努力というより、金儲けのサーカスみたいになってるよ。
> 彼らを「超充電された開発者」だと思わせるために。 俺たちプログラマーの中で、そんなバカげたことを信じてるまともな人はいないよ。みんなこの仮面舞踏会が実際にはほとんど金儲けのためのものであることを見抜いてるから。
> これらの企業は人間が作った新しいデータなしではAIモデルを改善できない。 それは全く間違ってる。自己対戦は1950年代のアーサー・サミュエルに遡るし、検証可能な報酬を伴う強化学習は、今日の最も進んだモデルをトレーニングするための重要な部分なんだ。
現在のモデルは、少なくとも私たちが知っている限りでは、自己対戦を使ったRLVRはまだ使ってないよ。手動で作成された大量のRL環境を使ってる。でも、近いうちに自己対戦を使うようになると思うよ。詳しくは見てみてね。https://www.amplifypartners.com/blog-posts/self-play-and-aut...
完全に間違ってるわけじゃないよ。自己対戦は、問題がRL環境で簡単にシミュレートできる場合にはうまくいくんだ。RLHFや似たような技術はそうじゃない。今は、ソフトウェア開発者やデータサイエンティストを雇って、ランダムな問題を解決させてLLMモデルの訓練データを生成してる会社もある。自己対戦がうまくいくなら、彼らはどうしてビジネスを続けてるんだろう?
AIへの抵抗を育てる一番簡単な方法は、ダリオ・アモデイとサム・アルトマンをテレビに出して、彼らに話させることだね。
自律型兵器を宣伝するアレックス・カープも出して、究極のトライフェクタを狙おうぜ。
> AI抵抗を育てる最も簡単な方法は、ダリオ・アモデイとサム・アルトマンをテレビに出して話させることだよ。ここで何を目指してるのかもっと教えて?俺の予想では、彼らは一般の人々とは繋がってないし、インセンティブがズレてるし、(ほとんどの企業リーダーと同様に)直接的に話さないし、世界のほとんどの選挙で選ばれたリーダーよりも権力を持ってる…って感じかな。何か見落としてる?俺の見解としては、キャラクターや目標に関して、彼らが何をするかを予測する時に、アモデイをアルトマンと一緒にしないでほしい。簡単に言うと、アルトマンは洗練されていて効果的だけど、ちょっと不気味な感じがする。要するに、アルトマンは道徳的じゃない気がする。彼に従う人が多いけど、彼のアイデアにはあまり従ってない気がする。アモデイは違うよ。彼はキャラクターと理想で人を鼓舞する。アモデイは善意のあるオタクで、彼がトップAIラボを率いる姿に時々驚かされる(いい意味でね)。彼はちょっと不器用だけど、俺が言ってることに対して反論がある人がいたら教えてほしい。俺はオラクルじゃないから。両者にもっと批判を加えることもできるけど、いくつか挙げると、俺の目にはダリオはAIの未来についての懸念が足りないように見える。でも、これが彼のPRスタンスなのか、核心的な信念なのかは分からない。アルトマンはもっと難しい存在だね。俺の第一印象は「優秀で、有能で、操作的」って感じ。OpenAIについて心配してるし、アルトマンの権力の奪取が嫌いだけど、彼も多くの人と同じように根本的には正しいことをしようとしてるんじゃないかな。彼がティールみたいに狂ってるとは思わないけど、間違ってるかもしれない。もし俺があのくらいの金と知性、ネットワークを持ってたら、きっと攻撃的に使って、狡猾に見えるかもしれない。アルトマンとティールには良い意図とまともな計画があるかもしれないけど、権力の集中は腐敗を招くし、彼らの巨大な影響力に対しては限られたガードレールしかないように見える。* ここで俺の主張があるんだけど、真剣に議論してほしいのは、ダリオは他の企業リーダーよりもアライメントを真剣に考えてるってこと。彼は実際にそのための研究に資金を出してるし、どう機能するかも知ってる。彼は気にかけてるし、実際にその仕事もしてるか、少なくともしてた。彼が経営してる会社のCEOの中で、実際に現場の人たちがやってることをできる人がどれだけいるか、認識してほしい!だから、俺は彼を悪者にするつもりはないんだ。2026年のメディアスキルはあまり良くないと思うけど。
いつかAIについてもっと深い議論ができるようになればいいなと思ってる。今は極端な意見しかないみたいだけど、AIを完全に排除するのと、ただ見て見ぬふりをするのの間に何かないのかな?責任あるAIの使い方や、社会への影響をどう軽減するか、エネルギー消費についても話したいんだ。
こんな意見がこのサイトに参加してる人から出てくるとはちょっと驚き。ここが中間的な意見が一番見られる場所だと思ってたから。去年の半ばから、半ば流し見する感じから、受け入れなきゃいけないって感じにシフトしてるのが全体的に見えるし、問題を特定してどう対処するかについても。これがまさにあなたが言ってることだと思う。AIを適切に活用するツールとして見ると、素晴らしいと思うけど、みんなが使う道具を理解せずにただ投げ込むことに対する制約がないのは恐ろしい。ここにいるコミュニティの多くが同じ気持ちを持ってると思うけど、そうじゃないかもしれないし、ただの推測かもしれない。
ベンチャーキャピタルはAIが世界を支配することに賭けてるから、近い将来、LLMの保守的な使い方には資金が回らないだろう。微妙な理由は、LLMの保守的な使い方に賭けることが、彼らの主要な投資を価値を下げるシグナルを送るからだ。
DRMやDMCA、特許トロール、PGPの輸出規制が主なハッカーの目的だった時代を覚えてるよ。「情報は自由であるべき」って言われてたのに、今は全然逆になってるのが面白い。今はこう言ってるしね。> 「もし[企業]が倫理的にトレーニングデータを調達できないなら、どんなウェブサイト運営者も彼らがそれを盗むのを簡単にする理由は全くないと思う。」25年前にはこの変化を予測するのは難しかっただろうな。
文化がそれを壊そうとする人々を排除する強固なメカニズムを持たないと、こういうことが起こるんだ。吸血鬼を迎え入れておいて、首が痛いって不思議がってる。
文を終えると少し見えやすくなるよ。「情報は自由でありたい(______から)。」その空白を「利益を求める資本家や企業」で埋めたら、彼らがそれを転換点と見ない理由を理解するために必要なことは全部揃ってると思う。これは、議論とは別の立場にいる人間として言ってるんだけど、AIを自由に使ってるけど、現状のパラダイムをひっくり返すことを人に勧めることには全く抵抗がないんだ。
「情報は自由であるべきだけど、自分が完全に支持する人だけが使うべきだ」というのがモットーだね。若い人たちが海賊行為を称賛してるのをよく見るけど、その一方で「海賊行為」を理由にLLMを嫌ってるのが面白い。
あの人たちはシェアリング/ギフト経済を築こうとしてたんだよね。でも、悪い奴らをその経済から排除できなかった。彼らのユートピアの夢が自己利益を追求する人たちに乗っ取られたことに対して、彼らは苦々しく思ってる。これがどうしておかしいの?
このブログの中の怒りよりも、こういう「毒を盛る」試みがモデルのトレーニングに何の悪影響も与えないと真剣に信じていることから見える技術的無知の方がもっと痛々しいね。
いや、正直言って逆に気持ち悪いと思うわ。チャットGPTを使ってメッセージやメール、履歴書を書かせてる人たちとか、プロのソフトウェア開発者がアプリを丸ごとコーディングしてる雰囲気とか、LLMからAGIが生まれるとか話してるの、マジでやめてほしい。これが本当に気持ち悪い。
毒を盛ることが効果がないとは自信を持って言えないよ。
これはスラクトビズムだね。労働者階級の仕事がコンピュータに置き換わってるって結論に至る人もいるのは分かるけど(ただ、俺は「労働者階級」をもっと広く使ってる)、コンピュータは純粋な資本だよね。要するに、資本家たちは労働者階級を絞り取ってるってこと。少なくとも、資本家たちはそうなってほしいと思ってるんじゃないかな。でも、もしそう思ってるなら、モデルをちょっと毒するだけじゃ、何が起こってるのかを理解するには全然足りないよ。
このトレンドは特にRedditで顕著だね。あるコミュニティはAIに非常に賛成で、各スレッドにAIの要約コメントを追加したり、AIが書いた投稿を奨励したりしてる。[0] 多くのサブレディットはAIに慎重で[1][2]、その中の一部は完全に反AIだよ[3]。これらの「AI中心」のコミュニティを除くと、各「伝統的な」サブレディットはどこかのスペクトラムに位置してる(写真家たちは自分たちの作品に対するAIの懐疑的な見方に悩んでる[4]、プログラマーたちは大体好きだけどまだ懐疑的[5])。 [0]https://www.reddit.com/r/vibecoding/ [1]https://www.reddit.com/r/isthisAI/ [2]https://www.reddit.com/r/aiwars/ [3]https://www.reddit.com/r/antiai/ [4]https://www.reddit.com/r/photography/comments/1q4iv0k/what_d... [5]https://www.reddit.com/r/webdev/comments/1s6mtt7/ai_has_suck...