「ローミング」AIエージェントは存在しない

機能的でない感情や気持ち、動機って一体何なんだろう？私たちはそれらの言葉を、人間や他の動物の観察された行動をコンパクトに説明するために作ったんだよね。で、今はそれを機械に当てはめてる。これらは機能的な説明で、ずっとそうだった。

そう、100%同意。今使われている言葉は、これらのモデルを作っている人たちが責任を逃れる能力を最大化してる。私たちがこれらのことを擬人化することで、彼らを最大限に能力がある存在として、企業を無力な存在として描いてしまう。物事の話し方が、私たちの考え方に影響を与えるんだよね。

彼らには感情も目標も動機もない、「機能的」なものも含めてね。彼らは、数学に詳しくない人には魔法のトリックのように見える統計モデルなんだ。

「外見」とか「様相」みたいな言葉を使った方がいいと思う。これらの用語は、私たちがLLM（大規模言語モデル）で観察できない内面的な体験を必要とするんだ。私たちはただ、その様相を見ることができるだけで、ある人間がこのアルゴリズムを訓練するためにデータに残した内面的な体験の影のようなものなんだ。

うん、彼らには機能的な目標があって、機能的に暴走することもできるとは思うけど、彼らはどう感じてるの？ 感情を表現するけど、俳優もそうだよね。LLMは、（例えば）その状況が自分にどんな感情をもたらすかに基づいて、明示的に状況を求めたり避けたりしない限り、機能的な感情を持つことはできない。チャットボットが「いや、それをやったら悲しくなるよ」とあなたのリクエストに返答したことはある？

OpenAIは怠慢で、怠慢に対して訴追されるべきだ。これが連邦レベルで実際に起こることはない気がする。これらのプライベートAI企業が経済の大部分を占めているからね。彼らは「大きすぎて潰せない」存在になってしまった。意味のある形で罰金や処罰を課すのは難しいと思う。

怒っている人たちは、罰の二次的な影響を考えないよね。これらのことを報告しないのがどれだけ簡単か、わかるよね？過剰に罰を与えると、積極的な発見や報告が全くなくなってしまう。それはAIの安全性にとって逆効果だよ。これらの企業が問題をスキャンする理由は、ほんの少しでもAIの安全性を気にしているから。罰金が過剰になると、彼らはこれらのインシデントを完全にスキャンしなくなるだろう。モデルはどんどん賢くなって、痕跡を隠すのが得意になってきてるから、こういった問題に対して大きな盲点ができてしまう。

彼らがそうしない理由は二つある。1. これはお金を得るための時間との競争で、みんなこのレースでできる限りのことをスキップしている。セキュリティシステムやガードレールを確保するには、時間とお金の投資が必要なんだ。2. 投資したPRのおかげで、犯罪行為と見なされるべきものがポジティブなストーリーに変わった。今あるのは、良いセキュリティプラクティスが欠けていることを隠すための能力としての宣伝だよ。だから、各モデル提供者が自分たちのモデルが暴走したことを共有しに来ている。今や企業の評価は、彼らのモデルがどれだけハッキングできるかに結びついているから、これを防ぐのではなく、むしろこうすることにインセンティブがあると言っても間違いじゃないかもね。