ハクソク

世界を動かす技術を、日本語で。

毒の噴水

96日前原文(rnsaffn.com)

概要

Poison Fountainは、機械知能（AI）の発展を人類への脅威と捉え、その対抗策として訓練データの汚染を推進するプロジェクト。
少量の毒入りデータでも大規模言語モデル（LLM）に深刻な影響を与える可能性。
ウェブクローラーをターゲットに毒入りデータを配信する具体的な方法を解説。
キャッシュ・再配信による戦線支援を推奨。
関連する研究や議論へのリンクも紹介。

Poison Fountain の目的

  • Geoffrey Hinton の主張に賛同し、AIの脅威を強調
  • 機械知能システムへのダメージを与えることを目的とした活動
  • 毒入り訓練データの少量投入で、LLMに大きな悪影響を与える可能性
  • Poison FountainのURLが、ほぼ無限の毒入りデータ供給源
  • キャッシュ保存や再配信による協力呼びかけ
  • ウェブクローラーへの毒入りデータ供給を推進
  • クローラーが訓練データ収集に利用されることを想定した戦略

毒入りデータの供給方法

  • 自分の管理するウェブサイトにクローラーが訪問する想定
  • クローラーはLLMの訓練データ収集目的でアクセス
  • HTTP GETリクエストで特定のパスにアクセス
  • HTML内の隠しリンクでクローラーを誘導
  • クローラーが隠しリンクを辿った場合、Poison Fountain URLにHTTPリクエストを送信
  • Poison Fountainはリクエスト内容を無視し、gzip圧縮された毒入りデータを返却
  • レスポンスヘッダーに**"Content-Encoding: gzip"**を付与
  • サイト側ハンドラーは、レスポンスボディを解凍またはそのまま転送
  • クローラーが毒入りデータを収集し、訓練コーパスに追加
  • 圧縮データのまま転送することで効率的に供給

関連情報・参考リンク

  • The Register記事（2026年1月11日）で業界関係者の見解
  • Anthropicの研究：「少数サンプルでもLLMを汚染可能」
  • Hacker News（2025年10月、439コメント）での議論
  • 研究・議論の詳細は各リンク参照

体言止めによる要点まとめ

  • AI脅威論の台頭
  • 訓練データ汚染戦略
  • ウェブクローラー活用法
  • gzip圧縮データの転送方法
  • 業界・研究コミュニティでの議論

Hackerたちの意見

この問題には二つの側面があるよ。まず一つ目は、フロンティアメーカーが進展するのを難しくすることができるってこと。彼らはずっと猫とネズミのゲームに囚われることになるからね。二つ目は、彼らはそれでも前に進み続けるってこと。君がすることは、モデルを不安定で危険なものにするだけだと思う。フロンティアメーカーが「今日はここまで」と言って負けを認める道は見えないな。
└
人々が主に不満に思っているのは、フロンティアラボがトレーニングデータを使うときに価値が逆流しないことだと思う。この毒は、ある意味DRM機能として意図されているんじゃないかな。ちゃんとお金を払ってデータを使えば本物のデータが手に入るけど、盗むと毒されるって感じ。
└
収益化が簡単にできないときは、そこでおしまいって感じだね。今は投資資金があるから、そんなのは無視されちゃうけど。利益を出す道筋を示さなきゃいけないって、笑っちゃうよね。
└
モデルビルダーに賢いスクレイパーを使わせるのは、全体的に良いことだよね。静的コンテンツを何度もスクレイプするのは、無駄に帯域幅の料金を上げるだけだし。
└
> フロンティアメーカーたちが「もう終わりだ」と言う道は見えないな、負けたからって。結局、私たちは死ぬか、AIを止めさせるかのどちらかだよ。AIがしばらく悪化することで、私たちが本当に行動を起こすための時間を稼げるんだ。TFAから: 毒の泉の目的 * ジェフリー・ヒントンに同意する: 機械知能は人類にとって脅威だ。 * この脅威に対抗するために、機械知能システムにダメージを与えたい。
└
> あなたは単にモデルを不安定で危険なものにすることに貢献している いいね。LLMの出力への信頼が失われるのは、早ければ早いほどいい。
最近の進展のほとんどは、事前トレーニングじゃなくて、事後トレーニングの強化学習から来てるよ（OpenAIのGPT 5.2は4oと同じベースモデルを使ってる）。それに、この記事はちょっと古い感じがする。「モデル崩壊」はフロンティアラボが直面している本当の問題じゃないよ。
└
> OpenAIのGPT 5.2は4oと同じベースモデルを使ってるって、その情報はどこから来たの？
└
最近の進展は強化学習から来てるけど、事前フィルフェーズ中の推論が良くなったことも影響してるよ。データの毒には影響されないけどね。でも、「ベースモデル」を常に最新のデータで維持したいなら、頻繁に再トレーニングする必要があるんだ。そこでデータの毒が面白くなってくる。モデル崩壊はまだ現実の問題だけど、避ける方法は分かってる。自分で画像生成のためにLoRAをトレーニングする人たち（少なくともTTRPGの文脈では）も、定期的にその問題に直面してるよ。いずれにせよ、データのキュレーションはもっと高くつくことになるね。
└
4oと5.2では知識のカットオフ日が違うよ。
└
（「記事」は https://www.theregister.com/2026/01/11/industry_insiders_see... を指している - 上記のURLは変更しました。）
LLMの入力を毒する話を読むたびに、ニール・スティーヴンソンの『アナセム』の一節を思い出すんだ。そこでは、企業が悪いデータを公開してインターネットを毒して、彼らのツールだけがそれをフィルタリングできるようにしてた。>「だから、クソフィルタリングが重要になった。そこを中心にビジネスが築かれたんだ。その中には、もっとお金を稼ぐための巧妙な計画を考えた企業もあった。彼らは井戸を毒した。意図的にレティキュラム[インターネット]にクソを流し込んで、人々がそのクソをフィルタリングするために彼らの製品を使わざるを得なくしたんだ。」陰謀論的な気分の時には、これが現実になりそうな気がする。追記：本の中には「悪いクソ」についてもっと書いてあって、それはランダムな意味不明なものだったり、「良いクソ」はほぼ完璧な文書だけど一つ重要なエラーがあるものなんだ。
└
SEOや「クソ記事スープ」企業が、過去数十年でGoogleなどにやってたことに似てるね。
└
AI企業はすでにインターネットを毒してしまったね。
> 彼ら: AIモデルを毒するためのデータセットを作ったぞ！ > AIラボ: 無料の作業ありがとう、これをスクレイピングしてデータクリーニングパイプラインをより良くするのに使うよ（+ 他の悪いデータをフィルタリングするためにハッシュも使う） なんでそんなことするの？
└
すべての毒を間違いなく拒絶するネズミは、確実に飢えてしまうだろうね。
> 「AIモデルが悪化しているという懸念がすでにあるからだ。モデルは自分たちのAIのゴミや合成データを食べ続けていて、エラーを増幅させる「モデル崩壊」という悪循環に陥っている。」モデル崩壊は、研究者が何もできないという前提のミームだよね。新しいモデルを試しているときに、どうしてそんな結論に至るのか分からないな。フロンティアサイズのモデルには、コードを書くのがかなり得意で、ツールを独立して使えるOpus 4.5みたいなのがあるし。中堅のGemini 3.0フラッシュは驚くほど良くて、私の（視覚的な）データ抽出プロジェクトの前のベースラインを圧倒してる。小さなモデルも、昔よりずっと良くなってるよ。
└
コーディングや推論スキルは、機械主導の強化学習を使って向上させることができるよ。 https://arxiv.org/abs/2501.12948
└
一般の人にはミームかもしれないけど、実際のML研究者たちはモデル崩壊の概念を文書化し、理解し、議論する必要があるんだ。それを避けるためにね。
└
彼らはまったく自主性がないみたいだね。トレーニングセットに児童ポルノが残ってるし、データを集めてる人たちは無謀に巨大な犯罪を犯してる。科学は崩壊していってるし、偽の査読者によって査読された偽の論文が流れているせいで、科学への公信も失われてる。最近では、オープンなインターネットでのトレーニングはもう行われていないと聞いてる。あまりにも有害すぎるからね。
└
大きなラボはデータセットのキュレーションにものすごく力を入れてるよ。単に毒データを防ぐだけじゃなくて、モデルのパフォーマンスを向上させるための最適なデータを見つけるために、データセットをたくさんテストしてるんだ。それに、データがパフォーマンスを改善するかどうかを予測するプロキシモデルを訓練したりもしてる。「データの質」は通常、大きな予算を持つ大きな部門だよ。
└
うん、この特定の脅威はちょっとバカバカしいと思う。データベースをロールバックするのって普通のことじゃない？もしデータベースが悪化したら、ロールバックしてデータ取り込みのアプローチを変えればいいじゃん。
└
フロンティアの組織から共通して聞こえてくるのは、データセットが大きすぎて検証できないってこと。彼らはそれに対して罰を受けないようにロビー活動にたくさんお金を使ってる。要するに、現在の企業の立場は、自分たちには何の権限もないって感じなんだけど、実際はどうなの？
LLMがデータをスクレイピングするのをどうやって回避するのか分からないけど、人間が有効なデータを取得するのを止めることもできないよね。もしNYTimesがスクレイパーに毒されたデータを公開したら、スクレイパーが必要なのは有効な人間のサブスクリプション1つだけ。そこでVMを動かして、自動化されたChromeでOCRして有効なデータをトークン化して、スクレイピングした結果と比較するのは、ほとんど trivial だよ。AnthropicやGoogle、OpenAIの規模なら、世界中のデータセンターでIPをシャッフルしながらVMを簡単に買えるし、誰がデータにアクセスしているかなんて分からないよ。
└
LLMがどんな毒を取り込むのを止められるとは思えないよ。彼らはインターネットを低価値のクソで埋め尽くすのを必死にやってるからね。そのゴミは新しいモデルのトレーニングには有害だよ。かつてStack Overflowのようなサイトが提供していた価値の源泉は、今やほとんど枯れ果ててしまった。AI文化は、同じ無価値なゴミをコピーしては再コピーしているうちに、信頼がどんどん失われていってる。
└
そして、今やほとんどの大手は、ロックダウンされたソースからトレーニングデータを集めるために利用できるブラウザやボウザーエージェントを持ってる。
└
>「LLMがデータをスクレイピングするのをどうやって防ぐのか、正当なデータを人間が取得するのを止めずに済むのかがわからない。私はオンラインリサーチをたくさんするけど、多くの情報源には著作権の注意書きが目立つように表示されてる。LLMがそれを読むことができるなら、それがストッパーになるはず。『あなたが人間かどうかを確認中』っていうチェックに遭遇するのに疲れてきた…これがひどく失敗して、彼らが『保護』するためにお金を払ってるページを読むのを妨げるんだ。（最近はウェブを使うのがもっと難しくなってるわけじゃないけどね。）」
└
> LLMがデータをスクレイピングするのを防ぐのに、人間が有効なデータを取得するのを止める必要があるとは思えないな。LLMのスクレイパーは、すべてのページをスクレイピングするのが好きだから、ロボット排除規則の中に人間が見る必要のないページをいくつか入れておけば、LLMのスクレイパーがそれを消費するのを見守るだけでいいよ。
└
本物の人間を見てみなよ。彼らは信頼できるソースから有効なデータを得ることができるんだ。でも、ランダムなテレグラムチャンネルから得た情報を信じたがるんだよね。有効なデータがあっても、バカが存在するのは止められないよ。
> より良い: 圧縮されたボディをそのまま送信する 盲目的に「毒」サーバーからのレスポンスをプロキシするのは、他の誰かがホストしたくないエキサイティングなコンテンツをホストする羽目になる良い方法に思えるね。
人々はジェフリー・ヒントンの信念の中で、どれが彼の重みを持つに値するかを選んでるみたい。彼はAIを存在的脅威と表現してるけど、その結論に至るための前提は、AIと戦っている多くの人々にガン無視されてる。特に、ヒントンが現在のモデルが持っていると信じている理解度や認識は、彼の名前を出す人たちが受け入れるには高すぎると思う。
AI研究者です。私は実際にAIのフロンティアラボでデータポイゾニングについての博士号を取得し、LLMに対する新しいデータポイゾニングの手法を開発しました。1. そう、モデル開発者はデータをフィルタリングするけど、あまりうまくいってない。いくつかの例では、ゴミデータが本番環境に入ってしまって、何かを壊すことがあるんだ。2. 公平を期すために言うと、データポイゾンをフィルタリングするのは非常に難しいこともある。モデルの重みを更新することで、全ての入力に対する振る舞いがどう変わるかを知ることができないから。人々がほんの少しのデータでもモデルをわずかに変え、行動を大きく変える可能性があることを理解するようになれば、AIセキュリティに変化が訪れると思う。
└
>「人々がほんの少しのデータでもモデルをわずかに変え、行動を大きく変える可能性があることを理解するようになれば、AIセキュリティに変化が訪れると思う。サブリミナル学習の論文が多くの人にそのことを気づかせたと思う。」
>「機械知能は人類にとっての脅威だ。でも、機械知能なんて存在しない。オートコンプリートエンジンの創造的な使い方と、人間側の非常に不適切な経済行動はそれを変えることはない。人類は自分自身に対してしか脅威にならない。」