LLMの非擬人化的視点

元記事: 2025年7月7日原文(addxorrol.blogspot.com)

概要

LLM （大規模言語モデル）は本質的に数式的な関数であり、人間のような意識や倫理観は持たない
アライメント（alignment） やAIセーフティの議論では、しばしば過度な擬人化が行われている
LLMは 単語空間内のパス生成機械 として捉えるべき
人間の意識とLLMの本質的な違いを強調
技術の進展による社会変化の大きさと、思考の明確化の重要性を指摘

LLMの本質と単語空間

トークン化と埋め込み により、各単語が(\mathbb{R}^n)ベクトルに変換
テキストは 高次元空間内のパス として表現
LLMは 直前のパス情報 から次の単語の確率分布を計算し、ランダムに選択
Snakeゲーム のように、文脈長(c)以内でパスが更新されるイメージ
LLMは 確率的関数 として、与えられた入力から出力パスを生成

学習と「避けたいパス」

LLMの学習は 人間の文章模倣 を目指す
望ましくない言語列（例：有害発言）は 例示と対例 で回避を試みる
数学的に明確な除外パスの定義は困難
アライメント は「有害な出力の確率を定量化・制限」することが本質
現状では 例示ベースの制御 しかできず、厳密な確率評価は未解決

LLMの実用性と進化

LLMは 従来困難だったNLP課題 を多数解決
英語での要約・構造化・物語生成など、 数年前ではSF的だった応用 が現実化
進化の速度が非常に速い ため、今後も解決可能な問題は増加見込み

擬人化批判と議論の曖昧化

LLMに 「意識」「倫理」「価値観」 を帰属させる議論は誤解を招く
LLMは 単なる数式的関数 であり、外部から動作を止めれば何も出力しない
「目覚める」議論 は数値計算モデルにも当てはまらず、非合理的
「AIが内通者になる」等は 確率的出力装置としての側面 から説明可能
擬人化による議論の混乱 が、技術の本質理解を妨げる

本来あるべきLLM議論の枠組み

LLMは 「系列生成関数」 と捉え、出力確率の制御問題として考えるべき
望ましくない出力系列に対して、 最大確率となる文脈を探索 することが重要
「倫理的行動」や「目的追求」 ではなく、 関数の性質 として議論する明快さが必要

AI研究者の擬人化傾向の背景

AGI（汎用人工知能）実現への信念 を持つ研究者が多く、擬人化しやすい
「神を創る」的な動機 がキャリア選択に影響
擬人化批判は 信念体系への挑戦 となり、受け入れがたい場合も多い

人間意識とLLMの本質的違い

人間は 進化と複雑な生理的要素 により形成
神経細胞・ホルモン・高帯域入力・進化的淘汰 など、LLMとは桁違いの複雑性
人間の出力確率を 数式的に評価できない
LLMに 倫理や恐怖、意志 を帰属させるのは、数値計算モデルに「感情」を議論するのと同様に不自然

LLMの社会的インパクトと明晰な思考の重要性

LLMの実用化だけでも 社会構造を大きく変える可能性
電化や自動車、コンピュータの普及 に匹敵するインパクト
技術進化の時代を 冷静かつ明晰な思考 で乗り切る必要性
擬人化による誤解 が社会的な混乱や不安を助長するリスク

結論

LLMは 数学的関数 であり、 人間的性質の帰属は誤り
明快で非擬人化的な議論 が、技術活用と社会適応の鍵

提供: ハクソク · 要約更新: 2025年7月7日

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

著者の核心的な見解は、結局のところサールのような考え方だね。計算的で機能的、構文ルールに基づいたシステムでは、心を再現することはできないってこと。賛成する人もいれば、反対する人もいるだろうし、その答えはおそらく知り得ないもので、意識に関する自分が信じる公理に依存するんだろうね。著者は、擬人化された表現を無視して、もっと具体的で物質的、技術的なシステムに焦点を当てる方が生産的だと考えているみたい。そこには賛成だけど、限度があるかな。これらのことの裏側には、まだ何か新たに現れるもの、計画されていないもの、心のようなものがあるっていう考え方があるよね。だから、たとえそれがルールに従った確率的なシステムだとしても、明らかにそのルールは複雑で（数十億の操作があって、信号が何らかの共鳴構造を通じて伝播するような、連続的な行列積のフィルターインパルス応答的な見方をすると）、現れる特性を生み出すんだ。私たち（LLMに興味があって、ある程度のML数学やシステムの知識がある人たち）が、これらのシステムが道徳や倫理、感情、個性を持っていると信じるのは「知っている」けど、ほとんどの人はLLMの数学的で機能的な表現について意味のある理解を持っていないし、その見方を取らない。だから、実際にはこれらのシステムが擬人化された特性を持っているように見えるし、その視点から質問をするのも有用なように思える。つまり、これらのものを純粋に技術的なシステムとして分析・研究するのが有用なのと同じように、ほとんどの人がそれに関わる質的で一時的な、体験的な視点から分析するのも、たぶん有用なんじゃないかな。

└

いや、なんでそんな誤解を助長するようなことをする必要があるの？それが様々なトピックにおいて重大な決定に影響を与える可能性があるのに。LLMは人間の思考プロセスの側面を反映している（しかも悪い意味でね）。もしそれ以上のものだと言うなら、鏡に映る自分を生きている存在として考え始めるのと同じだよ。文字通り（本当に文字通り）、違いはない。鏡から人間の像が出てくることは、鏡の物理的な属性や機能的な特性とは全く関係がない。ただ、その前に人が立っているという事実に関係しているだけだ。人間の思考のデータアーティファクトをLLMに与えるのをやめれば、すぐに人間に似たものを反映するのをやめるよ。

└

これらのことの裏側には、まだ何か新たに現れるもの、計画されていないもの、心のようなものがあるっていう考え方があるよね。そうだね、彼らの仕組みを表面的にしか理解していない人にとっては。クラークの法則のニュアンスで、「十分に進んだ技術は魔法と区別がつかない」っていうのは、誰にとっても基準が違うし、その技術に対する理解の深さも異なるってことだ。その基準は、技術的に無知な一般の人々にとっては非常に低いから、面倒なことに、私たちの中のかなりの割合がAIによって強化された神のボット（「神モード」や占い、具現化のプロンプトでフィードされたLLM）に宗教的・神秘的なシステムを置き換え始めているんだ。

└

よく考えられた、そして微妙な視点をありがとう。多くの人が明らかに先入観に基づいた絶対的な結論に合わせた議論をしている中での話だね。HNの多くがLLMに対して感情的に反応するのが驚きだ。彼らにとって、LLMについて興味深いことや有用なことが何もないと否定するまでに至っている。あと「過剰なマーケティングに対抗するために虚偽を信じることを選んでいる」みたいな人たちには、もう言及したくもないよ。

└

LLMが書いたコメントだよ。どうやって知ってるか聞いてみて。

└

これらのすべての裏側には、依然として何かが出現し、計画されていない、心のようなものがあるという考えがある。あなたが出現し、心のようだと認識するものは、これらのツールが人間のコミュニケーションパターンを模倣できる結果だ。これは非常に印象的で、私たちの生活を改善する幅広い実用的な応用があるが、注意しないと大きな害を引き起こす可能性もある。ただし、知性のように見えるものは幻想だ。この幻想を広めたいと執着する人が多いのは、そこに金があるからだ。

埋め込みを使って遊ぶのを強く勧めるよ。そうすると、高次元空間の表現だってことが実感できるようになるから。

└

つまり、LLMは彼らを構成する行列積以上の存在だってこと？それともそれがまさに彼らの本質で、それが素晴らしいってこと？

LLMを単なるシーケンス生成器として見て、悪いシーケンスを悪行とするのは、あまりにも単純化しすぎてるんだ。LLMには隠れた状態があって、それは必ずしも生成されるトークンに直接反映されているわけじゃない。LLMはこの隠れた状態に反するトークンを出力して、長期的な結果（あるいは予測）を達成することも可能なんだ。これが嘘だと言うのは、あまりにも擬人化しすぎてるかな？隠れた状態とその長期的な予測が一種の目標に相当するって言うのは？たぶんそうかも。でも、そうなると人間の行動や意志からの概念にほぼ1:1で対応する新しい言葉が必要になる。LLMが予測損失を最小化するプロセスを説明するために。アナロジーで推論するのはいつも不安定だし、そうするのが悪いわけじゃないけど、難解な専門用語になっちゃう。広めるのは大変だよね。だから、擬人化された用語を使って、LLMの行動を人間の概念空間で分類する方法を見つけるんだ。彼らは非常に欠陥のある人間だから、ちょっと誤解を招くけど、少なくとも専門用語は減るよ。

└

「隠れた状態」って何を指しているのかよくわからないな。思考の連鎖や記憶、システムプロンプトなどを除いて、そういうものを表示しないインターフェースを考慮すると、隠れた状態は存在しないよ。私の知る限り、これらのLLMはほとんど常に自己回帰モデルで、再帰モデルではない（Mambaは例外的だけど）。

└

私の意見では、LLMの擬人化は大企業のベンダーによって良いマーケティングと見なされているから起こっていると思う。人々はその技術に興奮していて、ベンダーが使っている用語を使うのが簡単だからね。その時点で、自己実現的なものになっていると思う。GIFの発音に関するミームみたいな感じだね。

└

彼らはそうするの？LLMはトークンシーケンスN^{L}をR^{LxD}に埋め込むんだ。注意機構があって、出力もR^{LxD}になる。それから語彙に対して射影をかけて、R^{LxV}を得る。だから、各トークンに対して語彙の中での確率を得ることになるんだ。注意機構では、マルチヘッドアテンション（あるいは他の流行りのバージョン：GQA、MLAなど）があって、複数の表現ができるけど、常にトークンに結びついている。トークンとは独立した隠れ状態は存在しないと主張したいね。一方で、LSTMや構造化状態空間なんかは、特定のシーケンスのアイテムに結びつかない状態を持っていて、更新されるんだ。このテキストは、関数の表記法を除けば、誰にでも理解できると思う。前の単語に基づいて確率を計算できるって説明は、擬人化的な用語を使わなくても、みんなに理解されるはずだよ。

Hacker Newsで議論の続きを見る