人間は4万回のゲーム実行でAIエージェントのコマンドを承認する際、3つの脅威のうち1つを見逃した

このゲームを踏まえて、今後はヒューマン・イン・ザ・ループが標準になるべきだと思う？他の技術についても触れてくれて感謝だけど、これらは人間の疲労を減らして、各許可リクエストをより良く評価できるようにすることに焦点を当てているように見える。自律性やセキュリティではなくて。あるいは、個人がもっと責任を持つべきだと思う？これが磨くべきスキルだと？

これは部分的に責任の問題だと思う。社員がbashコールを承認した？それならこっちの責任じゃないよね！

エージェントの真剣なセキュリティモデルってどんな感じになるんだろう？もうすでに何人かが返信ボタンを押そうとしてるのが見えるけど、ちょっと待ってね。定義するのはそんなに簡単じゃないと思う。エージェントをしっかりとロックダウンする方法については合理的な概念があるけど、今日のように機能し続けることを望むとしたらどうなるんだろう。ウェブにアクセスできるエージェントが欲しいし、時々は割り当てられたディレクトリから読み取ることもできるようにしたい。MCPサーバーを通じて外部リソースにアクセスできるようにしたいし、それぞれが名目上安全なソースから情報を取得して、それを組み合わせることで安全でないものに変わることもある。たとえば、ローカルファイルを読み取ってリモートリクエストを行う能力は、特に通信のサイドチャネルがあることを考えると、潜在的な情報漏洩のメカニズムになる。すべてをユーザーに押し付けるのは機能しないってのには同意するけど、他のセキュリティ関連の問題には合理的な答えがあるのに、セキュアなエージェントの定義が何かは全然わからない。10人の人間が同じ言葉のシリーズに同意しても、実際にはそれぞれがその言葉の定義が違うから、会議を終えたときには全然合意がないっていう現象に名前を付ける必要がある。ここにいるみんなは「そうだ、AIエージェントはセキュアであるべきだ」と言うだろうけど、実際にそれが何かを定義しようとすると、10人の異なる答えが出てくる。重複はあるだろうけど、「ユーザーがエージェントにXをやるように明示的に頼んで、Yにアクセスして、エージェントがそれを実行してZをやる必要があると判断し、ユーザーが「すべて許可」をクリックした場合、Tをやりたいとエージェントが決めたとき、Tはその「すべて許可」に完全に含まれるのか？」みたいな具体的な質問になると、X、Y、Z、Tの広範な範囲にわたって普遍的な合意は得られないだろうし、まだそれは「セキュアなエージェント」を構成する全体ではない。そもそも「セキュアなエージェント」が何かを定義するのは本当に難しい。エージェントに関しては、変数を埋めるものが人間の行動と同じくらい恣意的に複雑だから。

今回の違いは、（今のところは明らかだけど、以前はかなり議論された）ギャップフィルだってことだね。悪いエージェントと良いエージェントの間に、ちょっとした摩擦や人間の思考を加えることができたのは、まあまあ良かったと思う。完璧ではないけど、しばらくの間、人々の注意を向けさせることで、いくらかのダメージを和らげるのは良いことだよ。

2012年にOracleに入ったんだけど、ユーザー体験がひどいって自分でも文句言ってたよ。Oracle DBのインストールは悪夢だったし、質問が多すぎた。インストール中に管理者パスワードが必要って他のユーザーからも不満を聞いたことがある。自分はMySQLがシンプルで始めやすいから好きだったんだけど、ユーザー/パスワードなしで設定されてるMySQLデータベースが多いことや、インターネット経由でアクセスできるインスタンスがたくさんあることを知ってからは考えが変わった。結局、製品は「ユーザーにパスワードを設定させない方がいい、そうしないとバカなパスワードを設定しちゃうから」って方向に進んで、インストール中にパスワードを自動生成するようになった。これでユーザーはそのパスワードを保存する前や、バカなパスワードに変更する前にもっと考えるようになった。でもそれ以上に、責任はソフトウェアメーカーにはなくなったんだ。

まさにその理由で、プログラミングにはエラーや制限があるんだよ。手動でチェックするやり方や、無制限の規律は全然機能しない。意識しなきゃいけないことが多ければ多いほど、認知オーバーロードでミスが増えるんだ。

これはセキュリティモデルというより、むしろ責任モデルとして設計されてる感じだね。AIが決定に責任を持たないと、責任の一部が消えちゃうんだ。

オペレーションではこれを「モニターブラインドネス」って呼んでるよ。ずっと同じことを頼まれるとイライラするし、みんなただ止めたいだけなんだよね。

これは責任を放棄する手段だから、何度も試されてるんだよね。難しいことをする代わりに、ユーザーにセキュリティを押し付けて、「ああ、君がやられたのは君のせいだよ、[許可]をクリックしたんだから」って言うだけ。簡単で安上がりな逃げ道なんだ。

笑えるし、長期的には全然機能しないってのには同意するよ。だってClaude Codeがすでにオートモードを追加したのがそのいい例だし。ただ、移行期には、ユーザーが求めるパワーと安全性のトレードオフがすごくバラバラだから、1つの製品では全部をカバーできないってのは分かる。モデルの能力が頭打ちになると（加速主義者じゃないけど）、それに関連するハーネスや製品が特化し始めて、特定のユースケースに基づいた異なるセキュリティモデルができると思う。今のところ、ユーザーにたくさんの承認をクリックさせて、時々ミスをするのは、実際のセキュリティ結果がどれほど悪いかを見るまでの合理的な方法だと思うよ。