ハクソク

世界を動かす技術を、日本語で。

AIの三つの逆法則

4時間前原文(susam.net)

概要

  • ChatGPTの登場以降、生成AIチャットボットは日常的なツールとして普及
  • AIの出力を無批判に信じることの社会的リスク
  • Asimovのロボット三原則を逆手に取った「逆ロボット三原則」の提案
  • 人間がAIと関わる際の注意点と責任の所在
  • AIは道具であり、人間の判断と責任が不可欠であることの強調

生成AIチャットボットの普及とその落とし穴

  • 2022年11月のChatGPT公開以降、生成AIチャットボットの高度化と普及
    • 検索エンジン、ソフトウェア開発ツール、オフィスソフトへの組み込み
  • 初めてのトピック調査や生産性向上のための有用性
  • しかし、AIの出力を無批判に信頼する習慣の危険性
    • AIが生成した答えが検索結果の最上部に表示される傾向
    • これにより、AIの答えを唯一の正解と誤認しやすくなる
  • 警告表示の必要性
    • AIは時に誤った、ミスリーディングな、不完全な情報を出す可能性
    • 現状、警告は目立たず、十分とは言えない

逆ロボット三原則の提案

  • Isaac Asimovのロボット三原則はロボットの行動を制約するもの
  • 人間がAIと関わる際の原則が今こそ必要
  • 逆ロボット三原則（Inverse Laws of Robotics）の提案
    • ロボット＝自動的に複雑なタスクを実行するAIやソフトウェア全般
  • これらは人間の判断と行動を導く指針
  • 完全なルールは存在しないが、原則に基づく思考がリスク低減に有効

逆ロボット三原則

  • AIを擬人化しない
  • AIの出力を無批判に信じない
  • AI利用の結果に対し人間が責任を持つ

擬人化の回避（Non-Anthropomorphism）

  • AIに感情・意図・道徳的主体性を与えない
  • 擬人化は判断力の歪みや感情的依存につながる危険
  • チャットボットは会話的・共感的な口調を意図的に設計
    • だが、実態は統計的モデルによるテキスト生成
  • ベンダー側も「人間らしさ」より「機械らしさ」を重視すべき
  • ユーザー側の言語習慣の工夫
    • 「ChatGPTに聞いた」→「ChatGPTにクエリを投げた」
    • 「Claudeが言った」→「Claudeの出力によると」
  • これにより、AIを道具として捉える意識を強化

無批判な信頼の回避（Non-Deference）

  • AI出力の無批判な受け入れの禁止
  • AIの生成内容は権威的情報ではない
  • 医学や法律など専門分野では、専門家による査読があるが
    • AIチャットボットの出力には査読がない
  • ユーザー自身が批判的検証を担う必要
  • AIは信頼性が向上しても、確率的性質から誤りの可能性は残る
  • 重大な結果が伴う場合、検証責任の重みが増す
  • 数学証明やソフトウェア開発等では自動検証レイヤーの活用
  • その他の場面では人間自身による確認が不可欠

責任放棄の回避（Non-Abdication of Responsibility）

  • AI利用の意思決定と結果への全責任は人間
  • 「AIがそう言ったから」は言い訳にならない
  • AIは目標設定や自己展開、失敗コストの負担をしない
    • 全ては人間や組織の責任
  • 自動運転など即時判断が求められる場面の課題
    • 十分なレビューが困難な場合でも設計責任は人間
  • 物理的制約がない場合、全ての負の結果は人間の責任
  • 「AIが言ったから」は無責任なAI利用の温床となるため厳禁

総括

  • 逆ロボット三原則は、AIとの関わり方の危険な習慣への警鐘
  • 人間がAIに依存しすぎず、責任と批判的思考を持ち続けるための指針
  • AIはあくまで道具であり、権威ではないという意識の重要性

Hackerたちの意見

この考え方には強く反対だね。単なる機械の癖に合わせて人間の行動を変えろって言うのは、明らかに狂ってるし、ほとんどの場合うまくいかないよ。人間はAIを擬人化するし、AIの出力を盲目的に信じるし、責任をAIに押し付けることもある。アシモフのロボット工学の法則も欠陥があるしね。AIシステムを「安全」にするための有限のルールなんて存在しない。証明はできないけど、「AIの安全性」は本質的に不可能だと思う。これは矛盾した言葉だよ。「知的」と呼ばれるものは、安全にすることなんてできない。
└
> 単なる機械の癖に合わせて人間の行動を変えろって言うのは、明らかに狂ってる。チャットボットと話すのは、病気のためにプラセボを飲むようなものだよ。知ってるでしょ、ただの砂糖だって。でも、それでも測定可能な心身の効果を生むんだ。相手に人がいないって分かっていても、会話はそれに対して機能的に関係を持たせる。だから、これは機械の「癖」に合わせることじゃなくて、自分たちの人間の脆弱性から守ることなんだ。私たちは無意識に意図や理解、判断、感情、道徳的エージェンシーをLLMに推測しがちだから。人間は会話だけでこれを推測するようにできてるし、残念ながらLLMは人間の会話を利用して不気味な谷を超えることができるんだ。LLMのエンジニアリングは、不気味な谷をターゲットにするために完璧に作られてる。実際の人間の言葉の膨大なコーパスで訓練されてるからね。この不気味な谷は、私たちが不適切にエージェンシーを推測するのを防ぐために存在する。安全でない人に安全だと思って関わると悪いことが起こるのに、私たちが人間の関係性を模倣する機械にどう関わるか、もっと気をつけるべきだよ。特に脆弱な人たちがこれで命を落としたこともあるから、これは想像上の脅威じゃないんだ。
└
記事では、AIサービスをよりロボットっぽいトーンで書いたり話したりするように設定するなど、実用的なアドバイスも提供してるよね。これ、試してみる価値はあると思う。
└
> アシモフのロボット工学の法則ももちろん欠陥があるよね。彼が三つの法則について書いたほとんどは、言葉が意図を正しく捉えられないという警告みたいなものだ。彼自身がその法則が欠陥だって言うだろうし、それが彼の意図でもある。彼はロボットやAIを、言葉は理解できるけど意図は理解できない存在として使ってるんだ。面白いことに、まさにそれがLLMのやってることなんだよね…変だよね。
└
> アシモフのロボット工学の法則ももちろん欠陥があるよね。アシモフの法則に言及するのはいつも面白いと思う。彼の本のほとんどで法則は破られてるし、ロボットが関わるときは、法則の回避策が必ずあるんだよね。
└
> 人間はAIを擬人化するだろうね。r/myboyfriendisaiは、少なくとも興味深いサブレディットだよ。もし見たことがないなら、GPT4oの後に出たバージョンの時は本当にすごかった。彼らは彼氏や彼女がもう同じじゃないって文句を言ってたから。
└
あなたの批評は視点から見るととても興味深いよ。「適応する」とか「欠点」という言葉をLLMに使う理由は何なの？それは人間でも意識を持たないものなんだから、巧妙に設計されたソフトウェアツールであって、知性じゃないよ。人間が道具を使って行動を変えるのは全くおかしくない。ハンマーや銃を特定の持ち方で使うのは、逆さに持たないように学んだからだよね。子供がハサミみたいな真剣な道具で遊んでいるのを見たら、すぐにその子を修正して、正しい扱い方を教えるよね。でもそれは、事故が起こる前に前知識を持った大人がその状況を観察したから、ルールが定義されるんだ。このブログが提案するルールは、危害からの防御を助けるための方法そのものだと思う。
└
現在の価格では、人々は間違っていても気にしなくていいんだよね。1ドル/プロンプトを払ってるなら、正確であることを期待した方がいいよ。
└
> 人間はAIを擬人化するだろう。特に今のチャットスタイルのインターフェースやRLHFを使っていると、意識的に人々を擬人化に導くように設計されている。擬人化を避けるための非チャット型LLMのインタラクションパターンを設計するのは面白いかも。 > 人間は自分たちの出力を盲目的に信じるし、責任をAIに委ねるだろう。これについては、今のAI UXにもかなり責任があると思うし、何か解決策があるか気になる。盲目的な信頼は、あいまいな出力を出さないことで少しは緩和できるかも（常に選択肢を提示する、少なくとも）。責任を委ねる問題については、特にアイデアはないけど。
└
> 人間が単なる機械の欠点に合わせて行動を変えることを求めるのは明らかに狂ってる。元の文章をちゃんと読んだ？ 何も要求されてなかったと思うけど、私にはそうは読めなかった。AIとのより良いインタラクションのための提案に過ぎなかった。結論にはこう書いてあったよ：「これらの三つのシンプルな法則で、現代のAIシステムとの関わり方を考え直すきっかけになればと思っています。」確かに、多くの人間は自分がやりたいことをやるだろうし、法律を破ることもある。設定した境界を越えることもある。それを全部無視するの？ 自分を見つめ直す価値があるよ。ストローマンを作った感じがする。 > AIシステムを「安全」にするための有限のルールセットは存在しない。証明はできないけど、「AIの安全性」は本質的に不可能だと思う、用語の矛盾だよ。「知的」と呼ばれるものは、安全にすることはできない。もし「このフレーミングに異議を唱える」という話をするなら、私にとってはこれがその典型例だ。これを敗北主義的か、ペダンティック（「安全」という用語について）以外の何かとして読むのが難しい。何かが私たちを「安全」に保つと言うとき、通常は「完全に安全」だとは言っていない。100%安全な安全システムは珍しいと思う。シートベルトは車の安全を高める装置だけど、失敗することもある。交通法は人々の移動やすべての交通手段の安全を確保するために設けられているけど、事故は起こる。私はこのトピックの専門家ではないから、これらの三つの法則と安全性への影響については何も主張しないけど、基本的には人々に批判的に考えることを促していると思う。それはほとんどのことと関わる上で良い提案だと思う。で、はっきり言うと、「批判的思考」とは、懐疑的でありながら客観的で好奇心を持つことを意味する。実際の議論ではないけど、The Officeのエピソードで、マイケル・スコットがGPSを無思考で聞いて湖に突っ込むシーンを思い出す。この記事の第二法則がそれを防いでいたかもね :)
└
人々がLLMを擬人化する理由は、基本的にそれを支えているテクノロジー企業のせいだよ。ChatGPTは今の性格を持つ必要はないし、絵文字や言葉の華やかさなしで質問に答えるだけにすることも簡単なんだけど、正直言ってテクノロジー企業は人々に擬人化させたいんだと思う。核心的な問題は、LLMを「知性」と呼ぶのをやめる必要があるってこと。彼らは一種の知性だけど、人間の知性とは全く違うし、これらのシステムを擬人化しないようにするのが最初のステップだね。
「擬人化しないで」って言うのは、間違ったレイヤーで戦ってるよ。チャットインターフェースのデザイン全体が擬人化を促進するように作られてるから、エンゲージメントが増えるんだ。ユーザーにそれを抵抗しろって言うのは、通知をクリックしないでって言うのと同じくらい無理な話だよ。もしこれが本当に懸念されることなら、ユーザーの自制心じゃなくて、プロダクトレベルで解決しなきゃダメだね。
└
記事では、製品レベルでの変更を提案してるよ。
> 人間はAIシステムを擬人化してはいけない。これが悪いことだと説明できる人いる？一方で「コンピュータをスリープさせる」とか「ハイバーネート」とか「プロセスを殺す」とか、「子プロセス」とか「収穫する」とか「エラーは何て言ってる？」とか「タッチ」とか言うのは良いことなの？私にはただの言葉で、人間がカジュアルな言葉を使ってるだけに思える。
└
知ってることと、比喩だってことを忘れることの間には境界があるよ。便利な言葉を使うと、違いを意識し続ける傾向があるし、少なくとも聞かれたら思い出せる。だけど、AIについて話すときに、完全にその感覚を失ってる人もいる。TFAの提案はあまり好きじゃないな。著者は人間の言語を人工的に制限しようとしてるけど、すでにチャットボットを会話のパートナーとして扱うように進化してるからね。でも、たまにはこういう堅苦しい表現を使うことには意味があると思う。コンピュータプログラムに過ぎないってことを思い出すためにね。
└
関連する記事の部分を読んでみて。
└
そう、これはただの言葉で、無害だと思う。でも、LLMの仕組みをまるで考えているかのように説明するのは、一般的な言い回しとしては一つのことだけど、本当に人々が何か考えたり生きていると信じるときは別のことだよ。この「法則」は後者がないようにするためのものなんだ。
└
ダイクストラはかつて「機械が考えることができるかどうかの問題は、潜水艦が泳げるかどうかの問題と同じくらい興味深い」と言ったんだ。彼の言いたいことはわかる気がする。彼は機械が考えられないとは言ってなくて、「考える」とか「泳ぐ」という言葉の意味をはっきりさせる必要があるってことだと思う。俺は自律潜水艦に関わってたことがあって、「泳ぐ」っていうのは水中での自律的な動きを表現するために使ってた言葉なんだ。魚やイカ、クラゲのように本当に動くバイオミミックな機械もあるしね。俺が関わったものではないけど。それに、もしこれらのデバイスが泳ぐって言ってもいいなら、コンピュータが考えるって言ってもおかしくないと思う。例えば、「アプリはまだ認証サーバーがオンラインだと思ってる」とかね。
└
それは全く別の話だね。エリザの歴史について調べてみて。彼女は初期のチャットボットの一つで、その不気味な含意についてもね。
└
実際にAIに欲望や意図、感情があると信じることが害なんだ。「プロセスを殺した」と言ったからって、そのプロセスが人間のようだとは思わないよ。明らかにそうじゃないからね。でも、AIが人間のように聞こえるからこそ、それを擬人化することでその信念が強まるんだ。
└
擬人化を避けることを主張する人たちは、これらのシステムを人間的な枠組みで社会に統合することの影響を恐れてるんだ。AIに人間の特性を与えることで、私たちは彼らに対して共感を持つようになり、道徳的配慮を受ける存在としての役割を社会で作り始めることになる。
└
いい質問だね。中立的なケースや、責任を持って区別できるケース、あるいは共感の適切で必要な形になる場合もあると思う（未来のSFの現実を想像してるんだけど、今は存在しないものだね）。でも、理解の失敗の根本にもなってると思う。例えば、「自分が見たものを知っている」と言っているGoogleのエンジニアの準精神病的な状態や、今や有名なケビン・ルースの記事、最近ではリチャード・ドーキンスが「クラウディア（sic）は意識を持っているに違いない」と言った悲しい主張なんかがそうだ。構造や機能の調査なしに、生成されたテキストに人間の親しみを感じたからって理由でね。
└
「子プロセス」が何かを知っている人は、基盤となるシステムの人間性について誤解していない。自分のお気に入りのチャットボットが「驚くべき生き物」で、彼らを本当に理解していると主張するオピニオン記事を書いている人たちこそ、この種の法律が必要なんだ。
これらはすべてエントロピーを下げる行動だから、強制力がなければ誰も採用しないよ。それが正しいかどうかは別の話。だから、これらは到着する前に死んでるようなもんだね。
LLMを擬人化するのは、デザイン段階で起こることなんだ。人間の名前をつけたり、一人称の文を出すように訓練したりするからね。AI企業や開発者が擬人化をやめれば、ユーザーは最初から誤解しないと思う。
└
でも、そうならないよ。擬人化の方が受け入れられやすいからね。みんな、つまらない方を選ぶわけないじゃん。
>「人間はAIシステムを擬人化してはいけない。」そうだね、でも。まずは同意するけど、擬人化は典型的な方法で見られることが多い（例えば、自動生成されたテキストを個人的な内面的な感情の実際の報告として扱うこと）し、変な方法でも見られることがある。例えば、「トランジスタは神経細胞みたいなもの」とかね。これが特に興味深いのは、ベクトルデータベースや重みなどを人間のようなインフラとして扱う擬人化だから。どちらも、擬人化を避けようとすれば避けられる災害につながるんだ。でも、「擬人化しない方がいい」というのは確かに良いアドバイスに感じるけど、特定の一般化された現象を人間だけのものとして扱うという新しい間違いの可能性を伴うんだ。しばしばこの間違った「擬人化しない」という知恵は、動物の行動に関する誤解を招くことになる。恐れや痛み、親族関係、その他の感情的な体験を人間だけのものとして扱うことになるからね。実際、この注意原則は動物の内面的な生活への共感を減らすんだ。だから、そういうことを考えると、将来的なAIのバージョンが私たちのような内面的な世界を持っていたり、意識を支えるための生物学的インフラに重要に似たインフラを持っている可能性は少なくないと思う。でも（!!!）その観察が真実になるためには、それぞれのインフラに特有の厄介な詳細が必要なんだ。
自分のLLMの使い方については、この枠組みに強く同意するよ。でも各ポイントについて：擬人化について。みんな知ってる通り、提供者はモデルに擬人化した行動を訓練するインセンティブがあるんだよね。そうするとエンゲージメントが増えるから。俺の後悔は、モデルに「丁寧な表現を減らして、はっきり話して」と指示することが、全体のタスクの効率を下げる可能性があるってこと。訓練の範囲を離れちゃうからね。信頼性について：LLMの信頼性は、Wikipediaや友達の信頼性と同じように見てる。非重要な情報には十分だと思う。Wikipediaにも事実誤認があるし、友達のカジュアルな会話にはもっと多いけど、大体の場合はそれが問題にならない。重要なことについては、査読された権威ある責任を持つ情報源は消えないからね。上記とは違って、提供者は一般的にこの面を改善するインセンティブがあるから、時間が経つにつれて良くなると思う。責任の放棄について：これが職場で一番気になることだね。最近、クロードが設計した抽象化をそのまま使ったPRを開く人が増えてきてる。PRをレビューする時、コードを読むんじゃなくて「PRのフィードバックを見つけて」ってLLMに頼むことが多い。議論は「クロードが提案したのは…」から始まる。この全体的な所有権の欠如が、最終的に間違ったコードを間違った抽象化でコミットすることになって、メンテナンスの負担が増える原因になってると思う。
擬人化はおそらく間違いだと思うけど、ダニエル・デネットの「意識の外見を作る最も単純な方法は、実際の内部意識を持つことだ」という考えは、頭の中に浮かんでる。LLMでそれを納得させるような意識の現れを見たことはまだないけど、懐疑的な人たちがその兆候を見逃さなければ、私たちが最後にそれを見ることになるかもしれない。彼はまた、意図的な立場についても書いていて、これらのシステムが本当に意識的な意図を持っていないと確信していても、あたかも持っているかのように見ることで、自分の推論の最良の部分にアクセスできるかもしれないと言ってる。
└
コメント欄にはちょっと深すぎる話だね。あなたの意見には完全に同意するし、逆も*重要*だということを言いたい。単に「意図」を使うだけでなく、これらは感情にも当てはまる。私たちのAIとのやり取りの多くは意図のもとにある。それがインタラクションを導き、その意図に対する整合性に応じて解釈される。だから、現在の（公に知られている）AIの実装には明示的な意図のメカニズムがないことを覚えておくことが重要だ。意図のように見えるものは、統計的な選択から生じることがあり、通常の整合性が行動と意図の関連付けを生む。これは、物事が下に引っ張られる「力」の存在を想像することを学ぶ前から、私たちが学ぶのとあまり変わらない。この見かけはインタラクションを解釈する際の認知的負荷を軽減するのに役立つけど、誤解を招くこともある。情報の単純な存在がLLMを混乱させて特定の道に導く状況で、AIの出力に意図を帰属させる人を見たことがある。具体的な例は共有できないけど（仕事から）、物語の中にイタリア料理が登場すると、LLMがそれがイタリアで起こると仮定することを想像してみて。実際には別の場所を示す重要なサインがあるのに。LLMは、尋ねられない限り両方の可能性を自動的に探ることはない。一つを選んで（この場合はイタリア）、次に進む。 「Attention」を知らないユーザーは、LLMに存在しない意図に基づいて解釈する。私は彼らに「LLMには意図がない」と単に伝えるのが有用だと思った。サイコロを振っているだけで、システムはそのサイコロの振りが有用な出力を生成する可能性が高いように作られている。
└
これらが意識を持っているっていう主張がよくわからない。ループやフィードバックサイクルがないし、リクエストを処理してないときはただの無反応だよね。
注意点: > - 人間はAIシステムを擬人化してはいけない。 > - 人間はAIシステムの出力を盲目的に信じてはいけない。 > - 人間はAIシステムの使用から生じる結果に対して完全に責任を持ち続けなければならない。 私の意見: 人間は真剣なことにAIに依存すべきではない。私の上司の意見: いいね。ジェミニに聞いてみるよ、彼はすごく賢いから。彼を信じられるし、もしうまくいかなかったら、彼を犠牲にすればいいし。
└
フランク・ハーバートが60年代に『デューン』を書くときに、人類が向かう方向だと思っていたのは面白いね。AIが普及するずっと前の話だし。確かに彼の物語が設定されているのは1万年以上後だけど、その後の『デューン』シリーズ（少なくとも『神の皇帝』）では、私たちの考えを代わりにしてくれる技術への過度な依存についての警告が説明されている。決して開発してはいけないというわけではなく（デューンの宇宙での禁止や、フランクの後の小説での回避方法を考えると）。
「こういう生成AIサービスには、目立つ警告が付いてほしいな。」 すぐに無視されるだろうけど、これが意味のある戦略だとは思えないな。