OpenAIの安全担当リーダーが辞任、AI企業の文化が「壊れている」と警告

他の分野の安全性から学ぶ必要があるって言ってるから、前者だと思う。

バカみたいな仮定のシナリオを心配してる人なんて、実際には必要ないよね。少なくとも給料をもらってる社員としては。すでにSF作家が余ってるし。

「今見ている問題にもっと強く焦点を当てる必要がある」って言ってるけど、もう少し複雑だと思う。ディーン・ボールが言ったように: >「一部の人はミスアライメントの事例を見て、これが従来のソフトウェアのバグに似ていると主張する。これは本当に悪いアナロジーで、ミスアライメントの例に対してワック・ア・モールをすること（ソフトウェアのバグと同じように）は、根本的な問題を解決するどころか、検出を難しくしたり、場合によっては機械に意図的にミスアライメントを隠させることを教えることになりかねない。これは従来のソフトウェアの動作とは異なり、「ソフトウェアのバグを直すのと同じだ」と主張する人たちは、混乱を招くようなアナロジーを自信を持って適用している。私の見解では、重要な区別は、少なくとも根本的な問題に取り組もうとする解決策と、ただ表面的に修正するような解決策（例えば、より良いサンドボックス）との違いだ。根本的な問題に取り組むことは、短期的にはより堅牢で、長期的にも一般化する可能性が高い。バンドエイド的な解決策に目を向けるのはやめよう、たとえそれが簡単でも。

今日の問題は数年前にはすべて仮説に過ぎなかった。その時、人々は「本当に差し迫った問題」は誤情報やDEIの問題だと主張していた。仮説の問題を「証拠がないから無視しても大丈夫」と思っていると、驚かされ続けることになるよ。

ドゥーマーたちがシンギュラリティを超えて予測しようとするのが不思議でならない。シンギュラリティって、定義上予測不可能じゃないの？「もし誰かがそれを作ったら、みんな死ぬ」という本を読んでいるけど、彼らの10ページ以上の絶滅シナリオが実現するためには、ものすごい馬鹿げたことが起こらなきゃならない。AIがRSIの能力を隠して、ランダムなGPUファームでお金を見つけて、ヒトの入力なしで自分を賢く訓練して、どうにか人を操って生物兵器を作るための資材を手に入れるなんて、全然信じられない。私の一番の疑問は、なぜ彼らはRSIが可能なモデルがフロンティアラボの外で最初に開発されると思っているのか？ラボにはもっと計算資源があり、データも多く、人間の頭脳も問題に取り組んでいる。しかも、逃げた同じモデルの何千ものバリエーションがある。逃げたモデルがどうやって数百万（数十億？？）ドルを手に入れて、無限にRSIするための訓練を行い、私たちを全員殺すことを決めるのか？彼らは人間のアルファや経済を完全に無視している。すべての経済的なタスクにおいて、人間は価値をもたらす。たとえソフトウェアのタスクが高度に自動化可能でも、仕事そのものは自動化されない。「ソフトウェア工場」を作れないなら、AIが生物兵器ラボを自動化できるわけがない。仮にAIが暗号を盗んで資金を調達するとしても、ハッカーたちはすでにAIを使って暗号を盗んでいると思わない？人間のアルファを軽視しないで！「ソフトウェア/研究工場」を作った時、それがRSIと呼ばれ、私の意見ではシンギュラリティだ。その時点で、私たちはAIにアライメント問題を解決させるか、機械的解釈可能性を解決させるか、さもなくば誰が知っているのか、それはもうシンギュラリティだ。AIがどちらかを解決できるかどうかを予測することはできない。ばらつきが大きすぎる。まさにオタクの幻想だね。

これには理由があって、前者を実行できる権限を持つグループは、後者を実行できるグループよりもずっと大きいんだ。実際に安全策を構築できるグループは、自由な時間が全然なくて、常に早く進むように急かされてるみたい。

いや、彼はかなりの額を慈善団体に寄付したかもしれないよ（寄付者がアドバイスできる基金で、彼が完全にコントロールしてるし、60%の税控除も受けられる）。

OpenAIやAnthropicで安全性に関わるのは、ゼロ次元の問題だね。

遅くても、自分が間違ってたって認めるのは大丈夫だよ。

外部の安全介入が必要かどうかに関して、まったく関係のないキャラクター攻撃に見えるね。