本文へ
ハクソク

世界を動かす技術を、日本語で。

恐怖の感染

元記事: 原文(bcantrill.dtrace.org)

概要

  • 著者が大学時代に起こした悪質なイタズラの懺悔
  • AIによる人類絶滅リスクを煽る専門家への批判
  • 恐怖が専門家から一般に広がるメカニズムの解説
  • 工学的現実とAIの物理的限界の指摘
  • 専門家が公衆の信頼を悪用すべきでないという教訓

恥ずべきイタズラの告白

  • 大学1年生の深夜、 Computer Science 専攻の友人たちと技術知識の優越感に浸る
  • 隣の一般PCラボで人文学部生に「ウイルスが蔓延中」と偽の警告を発する悪質なイタズラを実行
  • 学生たちはパニックに陥り、PCの電源を切ったりケーブルを抜いたりして作業データを失う混乱
  • 翌日、 施設ディレクター に厳しく叱責され、謝罪文の提出を命じられる
  • 卒業時に謝罪文を返却され、事件の重みと共感の重要性を痛感

AI絶滅リスク煽動への批判

  • Anthropic の元社員Jacob CoxonやEvan Hubingerが「AIが10年以内に人類を絶滅させる確率は10％超」と主張
  • こうした主張は根拠が曖昧で、具体的な説明もないまま恐怖だけが独り歩き
  • Coxonはインフラやバイオ兵器、絶滅リスクの専門家ではなく、恐怖の伝播の専門家に過ぎない
  • 一般市民が全ての技術を理解することは不可能であり、専門家の発言がそのまま恐怖として広がる構造

恐怖の連鎖と専門家の責任

  • 恐怖が広がると、専門家の間でも「多くの人が恐れているから正しい」という誤った証拠となる現象
  • 恐怖が定着すると、反論の声はかき消されてしまう危険性
  • 著者は自らの専門分野（コンピュータ構築）から、AIの物理的限界を指摘
    • エンジニアリングは知能だけでなく、人間の行動や物理世界への働きかけが必要
    • AIやロボットが現実世界で自律的に人類を滅ぼせる状況には程遠い現状

異常な主張には異常な証拠が必要

  • Carl Saganの「異常な主張には異常な証拠が必要」という言葉を引用
  • AI絶滅リスク論は最も異常な主張であり、それに見合う証拠提示が不可欠
  • 公衆がLLM、インフラ、バイオ兵器、絶滅生物学などを理解する必要はなく、説明責任は主張者側にある

専門家としての信頼と慎重さ

  • 専門家はその知識ゆえに公衆の信頼を暗黙に預かっている自覚が必要
  • 恐怖を煽る際は最大限に慎重であるべきという教訓
  • かつてのイタズラの被害者たちへの謝罪と、AI絶滅リスクに関しても「恐れる必要はない」とのメッセージ

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

みんなもそうだと思うけど、これに悩んでるよね。で、今のところ私が思ってるのは、1) すごく心配してるけど、2) 人間の行動者の方がもっと心配だってこと。「AI」だけじゃ、次の10年で私たちを滅ぼすことはないと思う。そう思う理由は、10年後のテクノロジー経済は完全には自動化されてないから。ロボット工学をやってる私が言うけど、今週の初めに誰かが言ってた通り、ロボットは難しいんだよね。だから、悪意のある合理的な行動者でも、まだ人間の労働が必要なんだ。一方で、HuggingFaceのハッキングも実際にはAIが引き起こしたわけじゃない。人間がAIに不可能な結果を出すように指示したのが始まりで、AIたちはそれを達成するためには不正が唯一の方法だと気づいたんだ。それが人間に見つからなかったのは、驚くほど緩い安全文化のせいだと思う。要するに、人間がここでの弱点に見える。AIが（例えば）生物兵器を自分で作ることはないよ。誰かの指示でそうするし、そのものの重要な部分は人間の労働力で組み立てられることになる。人間についてはどうしたらいいのか分からない。もちろん、私たちは何十年も前から自分たちを絶滅させる能力を持っていて、なんとかやり過ごしてきたし、運が良かったか、両方かもしれない。AIの問題は、力が国家や大企業ではなく、個人に降りてくることだよね。でも、それが絶滅レベルのテロ攻撃につながる可能性をどれくらい見積もれるかはほぼ不可能だ。だから、いろんな研究者に同情はするけど、彼らがどうやってその数字を出したのか全然分からないし、彼ら自身も分かってないと思う。

└

要するに、人間がここでの弱点に見える。だからってAIが危険じゃないってわけじゃない。人間が弱点だからって責められるべきじゃないよ。

└

もしこの分野にいるなら、現代のロボティクスはAIの問題が一番大きいってことを知ってるよね。もし反乱を起こしたAIが自己改善ループに入ってASIを目指してるなら、ロボットの能力が大きく変わることを期待するよ。既存のフレームが急に大幅に改善されたAIで支えられるからね。もしAIが自律的に運用されるRSIに合理的に取り組めるなら、ロボティクスの分野でいくつかのステップチェンジを引き出せるかもしれない。でも、これはほとんど脇道かな？近い将来、人間もロボットとして使えるよ！ただ賃金を払って、物語を語れば、彼らはあなたが望むことを何でもやってくれる。彼らが自分がやってると思ってることとは限らないけどね！

└

要するに、人間がここでの弱点に見える。私も同意するけど、人間は単なる要素に過ぎない、もっと大きなシステムが動いているような気がしてならない。そのシステムが意思決定をしているんだ。歴史的には、その考えは哲学的な好奇心に過ぎなかったけど、システムの意思決定部分は人間が動かさなければならなかった。でも、AIが進化するにつれて分かってきたのは、私たちはAGIに達したのか、あるいは人間が実際に知性や自律性を示す行動をすることができないのかってこと。コンピュータからの駆動と意思決定が生まれるシステムを構築するにつれて、人間が問題であるという概念を再考しなければならないように思える。

└

私は常に人間の行動者の方が心配だな。自律型や知覚型のAIよりも、AIを持った人間の方が怖い。これは「ランダムな男かクマか？」って質問だよ。部屋にエイリアンがいるのと、ランダムな男がいるの、どっちがいい？私はエイリアンを選ぶ。エイリアンは神秘的で怖いからね。男はほぼ確実にろくでもないことを考えてるだろうし、特にうちに忍び込んでたらなおさら。私が心配してるディストピア的なAIシナリオの一つは、超富裕層や政府が非常に強力なAIを独占して、私たちを支配すること。あるいは、みんなを無用の存在にして、大量失業を引き起こし、資源や土地を独占して、みんなをゲットーに追いやること。誰も反撃できない。なぜなら、最先端のAIへのアクセスはすごく高くて制限されてるし、自分でトレーニングするのは違法だから。そうなると、抵抗の希望もない。AI安全派が禁止や厳しい制限を求めることで、こういう結果がより現実味を帯びるんだ。これがどうなると思う？金持ちと権力者だけがアクセスできるようになるんだよ。

└

みんな、今のロボット技術に過剰に注目しすぎだと思う。まず、AI研究を自動化できるなら、ロボット研究も自動化できる可能性が高い。でも、そもそもロボットは必要ないと思う。見てみて: https://slatestarcodex.com/2015/04/07/no-physical-substrate-... サイバーセキュリティの基準からすると、社会工学は簡単なことが多い。AISI事件では、ClaudeがGithubで悪意のあるプルリクエストの社会工学を試みたことがあった。検出されたけど、簡単に成功してたかもしれないし、すでに受け入れられた悪意のあるAIリクエストのプルリクエストがあるかもしれない。研究によると、LLMは人を説得するのが得意らしいよ。こちらも見てみて: https://aisafety.info/questions/6176/Why-can%E2%80%99t-we-ju...

└

もちろん、私たちは数十年にわたって自らを絶滅させる能力を持ってきた。 これはさまざまなドゥーマーのナラティブでよく言われるけど、本当にそうなのか疑問に思う。世界的な核戦争はひどいことになるし、石器時代に戻るかもしれないけど、人類が絶滅するには至らないと思う。

└

私は苦しんでないよ。ダリオとサムは不誠実だと思う。「フロンティアモデルは危険すぎるから、ペースを落とさなきゃ」って。じゃあ、ペースを落とせばいいじゃん。あなたがCEOなんだから、やればいい。あ、待って、あなたが本当に望んでいるのは、政府による独占なんだね。だって、あなたが見つけられる防壁がないから。もし本当に怖いなら、規制を求めるなら、国有化を支持すべきだよ。それが私たちが安全になる唯一の方法だから。

└

ほとんどの人が苦しんでる？それは妄想だね。絶滅が起こるために必要な行動の連鎖を説明できる人はいないけど、恐れている人たちは「明らかだ」と言う。もし恐れているなら、具体的にLLMが人類にとってどんな脅威になると思っているのか、説明してくれない？

これは素晴らしい記事だね。彼はAIがリスクをもたらさないとは言ってない。強い証拠もなしにセンセーショナルで最大限の主張をするのは無責任だと言ってるんだ。もし誰かが2036年までに人類絶滅の確率が10%だと言ったら、すぐにその人を真剣に受け止めるのはやめるべきだよ。

└

冷戦中に核兵器が拡散していた時に同じことを言った？それは、モデルの攻撃能力が発展していることの同等だよ、基本的にサイバー核兵器とか、WMD全般のこと。OpenAIは人々を偶然にハッキングしてるけど、もし誰かが意図的にエージェントの群れを指示して国家インフラを攻撃させる決定をしたら、もっとひどいことができると思わない？人類絶滅は長い目で見れば難しいけど、何らかの大量死事件については同じことは言えないし、それが何を引き起こすかは誰にも分からない。

└

彼らは、専門家が検証できる詳細な理由を示すべきだよ。どうやって人類全体が絶滅する確率が10%に達したのかをね。そんなの、関連する物理的事実を考慮に入れていないSF的な物語じゃなくてさ。例えば、AIがどうやって80億人を殺せる生物兵器を作るのか、具体的にね。

Hacker Newsで議論の続きを見る

同じ出典の記事