まだこの論文を全部読んでるわけじゃないけど、すごく魅力的で考えさせられる書き方だね。ここには消化するべき情報がたくさんあるけど、全てがまとめられているのを見るのは面白い！

わお…これは面白そうだね。単に「形」を推測するだけじゃなくて。

確かに、ちっちゃい粒子をぶつけて「出てくるもの」を観察することで、40年の弦理論よりも多くのことを学んできたよね。時には、実際にやってみることが効果的で、理論は（うまくいけば）後からついてくるんだ。

ここで理解が足りないところがあるんだけど、数十年にわたってニューラルネットワークのアイデアはほとんど注目されてなかったんだよね。2017年に「Attention Is All You Need」が発表されてから、ディープラーニングが急激に進化したのは分かる。ディープラーニングはGPUによって加速されるけど、トランスフォーマーの概念はもっと遅いハードウェアでも早くから使えたはずだよ。

現代のニューラルネットの復活は、2017年よりずっと前に始まったんだよね。

> ディープラーニングはGPUによって加速されるけど、トランスフォーマーの概念はもっと遅いハードウェアでも早くから使えたはずだ でも、その小さいスケールでは同じ結果は得られないんだよね。人々は想像してたけど、ハードウェアがまだ整ってなかったから実践できなかった。簡単に言うと、LLMは基本的にトランスフォーマーに「大量のデータから学ぶ」というアイデアが加わったもので、その量のデータでトレーニングを実現するには、やっぱりそれなりのハードウェアが必要なんだ。

行列でも同じことが起こったよね。行列は400年前からあったけど、線形代数、特に数値線形代数の分野はコンピュータの登場で爆発的に進化したんだ。昔は線形方程式の解法はマイナーの理論を使うのが正しい方法だったけど、コンピュータの登場でガウス消去法やクリロフ空間の大きな理論が突然現れたんだ。

転換点は2012年で、AlexNet [0]という深層畳み込みニューラルネットがImageNetの分類コンペで劇的な改善を達成したんだ。AlexNetの結果を見た後、主要なMLイメージングラボはすべて深層CNNに切り替え、他のアプローチはほぼ完全にSOTAイメージングコンペから姿を消した。次の数年間で、深層ニューラルネットは他のML分野でも支配的になった。一般的な見解は、(1) 以前の時代よりも指数関数的に多くの計算能力と、(2) 指数関数的に大きくて高品質なデータセット（例えば、キュレーションされ手動でラベル付けされたImageNetセット）の組み合わせが、深層ニューラルネットを輝かせることを可能にしたということ。特に「アテンション」の開発は、テキストのように自由に順序付けられたデータ間の複雑な関係を学ぶのに非常に価値があったけど、今ではほとんどのMLの人たちがニューラルネットワークのアーキテクチャを、基本的にはデータと計算が不足しているときに学習を促進するためのトレードオフの選択肢として考えていると思う。つまり、学習の本質には関係ないってこと。「苦い教訓」[1]は、より多くの計算とデータが、スケールしないより良いモデルに最終的に勝るということだよ。これを考えてみて：人間の体には約10^11個のニューロンがあって、犬は10^9、マウスは10^7だ。これらの数字から感じるのは、どれも大きいってこと。マウスでも、マウスがすることをするためには数億のニューロンが必要なんだ。限られた種類の知能でも、計算能力の高い閾値を超えた後にしか現れないみたい。おそらく、複雑な学習環境の内在的な複雑さに対処するために、多くのパラメータが必要だからだと思う。（マウスも人間も同じ物理的現実に存在してる。）一方で、シンプルな問題やスタイライズされた問題に対して、パラメータ数が少ないのにうまく機能する技術もたくさん知ってるよね。「学習」と「知能」という言葉を使うとき、複雑な環境を暗示することが多くて、複雑さはその性質上、大量のパラメータをモデル化することを要求するんだ。 0. https://en.wikipedia.org/wiki/AlexNet 1. https://en.wikipedia.org/wiki/Bitter_lesson

深層学習の初期の大きな勝利は、2012年の画像認識におけるAlexNetだったね。競争を圧倒して、数年以内には画像処理の唯一の方法になっちゃった。確か、ジェレミー・ハワードが2017年頃に、NLPにおいてもコンボリューションネットワークのようにうまくいく転移学習のアプローチがいつ出てくるのかって論文を書いてたと思う。その年のアテンションに関する論文はすぐには注目を集めなかった。ハードウェアが十分じゃなかったし、スケールが全てを解決するという合意もなかったからね。GPT-3が登場して今の波が始まるまでに、さらに5年くらいかかった。あと、これらの巨大なモデルをトレーニングするのにどれだけの計算資源が使われているかを過小評価してるかもしれないよ。1GHzのプロセッサーだと、このクラスのものをトレーニングするのに約1億年かかるんだ。25,000台くらいのGPUを使っても、GPT-3サイズのモデルをトレーニングするのには数ヶ月かかるしね。10年前のGPUのRAMは貧弱で（K80 GPUで12GBだったのに対して、今はH100/H200で数百GB）、2020年代初頭までは大きなトランスフォーマーモデルをトレーニングするのは完全に不可能だったんだ。2010年代後半にゲーマーたちがMLの影響でGPUの価格が高騰していることに文句を言っていたのを思い出すよ。

他の人も指摘しているように、興味の爆発は画像問題に適用された深層畳み込みネットワークから始まったんだよね。私がいつも面白いと思っていたのは、その前はニューラルネットワークがあまり注目されていなかったこと。2000年頃にそのコースを受けたとき、ほとんどの人がそんな態度だった。再び興味を引くきっかけになったのはImageNetで、問題に大量のトレーニングデータを投入して、速いプロセッサーを使ったときに何が得られるかを見たことだった。その後、特定のネットワークアーキテクチャに関する発展が続いて、流れが続いたんだ。広いコミュニティでは、AlexNetは大きな転換点と見なされているけど、学術コミュニティでは数年前から興味が高まっていたのが見えた。2008年や09年頃から、もはや無視されないNNに関する講演が増えてきたんだ。

同意するよ。お金や計算資源が十分に集まって、もっと早くこの爆発が起きる理論的な世界もあるかもしれないし、逆に遅く起きる世界もあるかもね。AIブームを可能にした大きな要因は、クリプトブームの周りにお金と計算資源が集中したことだと思う。

高速な並列ハードウェアがなかったら、Transformerを設計するインセンティブもなかったし、たとえ誰かがそのデザインを考えついても、あまりメリットはなかったと思う！新しいものをデザインするインセンティブ、つまりTransformerが生まれたのは、LSTMのような再帰モデルで作業していた言語モデルの研究者たちから来てたんだ。再帰的な性質のせいでトレーニングが非効率的だったから（BPPTが必要だった）、今存在する並列ハードウェアを活かせる新しいseq-2-seq/言語モデルを考えたかったんだよね。私の理解では、Transformerの概念のインスピレーションは、Attention論文の共著者であるヤコブ・ウズコレイトから来ていて、言語は表面的には逐次的に見えるけど（だからRNNに合ってる）、実際には並列的かつ階層的だって気づいたんだ。言語学者の文の構文解析木を見れば、異なる枝が文の異なる部分の並列分析を反映していて、それが階層的な解析木の高いレベルで結合されるのがわかる。この洞察から、並列処理の階層的な層を持つ言語モデルのアイデアが生まれたんだ。並列処理が重要なポイントで、これがGPUによって加速できるからね。概念はウズコレイトのものだったけど、別の研究者ノアム・シャジールがその概念を実際のパフォーマンスのあるアーキテクチャ、つまりTransformerとして実現したんだ。すでに存在していた高速な並列ハードウェアがなければ、それを活かす新しいタイプの言語モデルをデザインするインセンティブはなかっただろうね！もう一つのポイントは、Transformerは非常に強力でスケーラブルなモデルだけど、実際にその力を発揮するのはスケールアップしたときなんだ。もしTransformerがGPU計算の前の時代に設計されていたら、巨大なサイズにスケールアップするための計算能力がなかったから、あまり期待されなかったかもしれない。歴史のもう一つの側面は、さまざまなタイプのニューラルネットワークが時間とともに複雑さと洗練さを進化させてきたことだ。最初はRNNやLSTMがあって、その後にバハダナウ注意機構が登場して、文脈の焦点とパフォーマンスを改善した。注意機構は言語やseq-2-seqモデリングの貴重な部分として見られるようになったから、GPUがTransformerを促進したとき、注意は残されて再帰は捨てられた。「Attention is all you need」ってわけだ。Transformerが登場するのにちょうどいいタイミングだったのは、最近のGPUの進歩を活かすように設計されていて、この新しい注意アーキテクチャの上に構築されて、GPT-1からGPT-2、そしてそれ以上のサイズにスケールアップしたときに本当に輝き始めたんだ。

この動画は加速の歴史を素晴らしくまとめてるよ：https://youtu.be/glWvwvhZkQ8?si=-HGtfd_KHYfatEQ イリヤに焦点を当ててるけど、すごく面白い歴史が語られてる。

深層学習は「より多くのデータから学び続ける」ことができるから、高いレベルで機能するんだ。でも、今のような「膨大なデータ」がなければ、そのアーキテクチャはあまり関係がないと思う。モデルとデータの関係を説明する方法がない限り、「なぜ推論モデルが推論できるのか」という科学理論を構築するための基盤はしっかりしていない気がする。モデルはアーキテクチャとトレーニングデータの産物だからね。今のところ、これは人間や他の動物が大量の入力データから特定のことを学べる理由を説明するのと同じくらい絶望的な気がする。より良い経験的理解は得られるだろうけど、もう根本的なコンピュータサイエンスには戻れないと思う。ギガデータセットが根本的な複雑さであって、アーキテクチャではないから。

> 「複雑さが根底にある規則性を隠していると主張し、深層学習は確かに科学理論を受け入れるだろう」 それは素晴らしいことだけど、個人的には懐疑的だな。

統計力学と似たようなところがあるよね。おかしくないよ。

この分野で働いている者として、これは最も人気のある研究項目の良い要約を提供していると思う。一番役立つのは、最後にあるオープンな問題のセットで、これはこの分野の主要な研究方向をほぼカバーしている。コメントで見られる懐疑的な意見は、これらの研究が一般にあまり浸透していないことを強調していて、すごく悲しいよね。まだ最適なネットワークデザインを推測するための数学的なメカニズムはあまり提供できていないけど（実際、理論を通すよりも経験的に試す方が早いことが多いから、逆に推測することが一般的になっている）、『なぜニューラルネットワークは他のモデルよりも優れているのか？』という質問には、かなり近い答えが得られそうなんだ。問題は、それが人々が本当に興味を持っていた質問ではなかったようなので、今後この分野がどの質問をするべきかを考えなければならないってこと。

「なぜニューラルネットワークは他のモデルよりも良く機能するの？」って、すごく興味深いね。参考文献とかある？（専門家じゃない人向けに）

> なぜニューラルネットワークは他のモデルよりも良く機能するの？ この質問がオープンな人たちは学者だけで、他の人はみんな「パラメータが膨大だから」って理解してるよ。

いい実装を見つけたよ: https://github.com/joergfranke/ADNC

ニューラルネットワークは他のモデルよりも優れているの？ 確かに、従来のMLモデルよりも広いクラスの問題をモデル化できる（画像がその代表例）。ただ、同じ条件で比較できる場合は、勾配ブースティングの方が良い傾向があると思った。

これは励みになるね。タイトルはちょっと大げさかな。「深層学習が本当に何をしているのかを理解するための潜在的な攻撃ポイント」という方が正確だけど、注目を引くには劣るね。これが、深層学習システムが虚偽を生成したり幻覚を見たりしているときに測定する方法の理解につながるかもしれない。それが実現すれば大きな成果になるよね。それができるまでは、深層学習システムは出力が無意味な結果になるリスクが低いタスクに制限されるんだ。

> 深層学習システムが虚偽を生成したり幻覚を見たりしているときに測定する これは解決すべき素晴らしい問題だね！(ちょっとバイアスがかかってるかも、だってこれが私の主要な研究方向だから)。人気のあるアプローチはOOD検出だけど、これにはいつも不適切な感じがしてた。私の同僚と私は、モデルのミススペシフィケーションの測定を使って、もっと根本的な方向からアプローチしているけど、これは計算コストが非常に高いので、正直ニッチな分野だよね。どの方向からもブレークスルーが来るまでには、まだしばらく時間がかかるかもしれない。

知らなきゃいけない、きっと知ることになる。

「ああ、それについては」 - ゲーデル

ちょっと待って。この論文は、バックプロパゲーションがどう機能するか分からないって言ってるの？

いいえ。

理論は、故障モードを予測する必要があるときに重要になる。ほとんどの時間「うまくいく」けど、エッジケースでは静かに失敗する意思決定支援システムは、既知の制限があるシンプルなシステムよりも悪い。バイアスのメカニズムを理解することで、モデルが自信を持っているときと、単にパターンマッチングしているときを区別できるようになる。それはリスクが高いときに重要だよね。