特定のクラスの人工ニューラルネットワークは、他のものよりも確実に解釈しやすいと思う。例えば、何層も重ねた1兆パラメータのトランスフォーマーモデルは、数百万パラメータしかないけど巨大な1層で神経進化を使って構築されたモデルよりも、ずっと読みやすいはず。モデルがパフォーマンスを失わずに量子化できる度合いも、解釈可能性に寄与していると思う。冗長性があれば、人間はパターンを見つけやすくなるからね。もし冗長性が全くなかったら（情報理論的に言えば、すべてが驚きになる）、パラメータの流れは宇宙背景放射と見分けがつかなくなるだろう。

まだ全部は読み終えてないけど、重ね合わせが完全に間違っているとは急いで言いたくないな。メッセージは、新しい表現（例えばSAEやトランスコーダー）を学んでからその特徴を解釈するのではなく、モデルにすでに存在するニューロンや回路を理解しようということだと思う。このアプローチは、解釈に対するいくつかの研究者のアプローチの一部で、私も含めて、ネットワークを表現する方法として新しい表現モデルを開発することには慎重なんだ。これは、コアモデルのコンポーネントから遠ざかる別の抽象の層で、しばしば元のモデルの生物体の一部ではなかった別のモデルを訓練する必要がある（SAE）。モデルは、単にサイズだけでなく、複雑さがさらに増していくと思う。モデルが継続的に訓練されて適応するようになると、パラメータの数は変わらなくても、ニューロンが自分たちを再編成してより多くの情報を詰め込むことが想像できる。

こんなに長いテキストを切り抜けるために - 彼が「私がほとんど理解している最初の非自明なニューラルネットワーク」と呼ぶリンクを貼るね: https://already-clean.goodfire.com/microscope/medium.html?la...

これが、私にとってオープンウェイトがとても重要な主な理由なんだ。OpenAIやAnthropicがこれらのモデルをできるだけ自律的にしたいなら、完全に理解する手段も提供する必要がある。

ニックは自然の力だね。もしまだフォローしてないなら、Xで彼をフォローすることを強くおすすめする。彼の発表ポストは、ブログにはない良いコンテキストを提供しているよ。> 解釈可能性は今、世界で最も重要な科学的問題かもしれない。私たちが何を作っているのか分からなければ、アライメントを解決できないと思う。いいニュースがあると思う。私はOpenAIで機械的解釈の初期の研究に共同執筆し、楽観的ではなかった。なぜなら、ニューラルネットワークは無秩序に絡まったノットのように見えたから。数年後、私はOpenAIの最初の大規模自動解釈プロジェクトを始め、原始的なツールで約2%のニューロンが読み取れることを発見した。> 現代的なエージェントツールともっと近くで見ることで、全く違う景色が見えてきた。1兆パラメータまでのモデルの大多数は読み取れるし、その回路は美しい。絡まったニューロンの多くの有名な例は誤解されていた。私が予想していた障害物はほとんど存在しなかった。今、私は野心的な解釈可能性が必要な時に解決されると思っていて、かなり近いかもしれない。自動化された科学者たちが改善を続けているから。解釈可能性にとっては苦い教訓かもしれないけど、単純なことが、途方もないスケールで機能するんだ。https://x.com/nickcammarata/status/2110757819427574056?s=46

著者の機械的解釈が簡単だという主張には賛同できないけど、確かに良くできた興味深いポストだね。完全に無駄なラグのある3D都市モデルがなければもっと良かったけど。

そうだね、神の棺に釘を打つのをやめるべきじゃない？次は何だろう？もしかしたら、少ししたら私たちH.サピエンスが、個々のニューロンがENIACのようにごちゃごちゃしていて巨大だから、厳しい多義性に苦しんでいることを発見するかもしれない。一方、公園のカラスたちは、展開する必要のない整然とした効率的な小さな脳を持っている？... 教皇（神が彼に癌をもたらすのをやめさせるか、人間が彼を永遠に生きさせることを願う）はそれをどう説明するつもりなんだろう？

直感的には納得できるよね。小さいモデルだと、重ね合わせや多義性を活用してもっと圧縮する必要がある。ニックが見てるのは32Bのモデルだから、圧縮が少なくて済むはず…今や10兆パラメータのモデルもあるけど、全然圧縮する必要があるのかな？実験によると、Fableは地球の地図上のすべての緯度・経度の位置をほぼ記憶していて、自分の座標に基づいて海にいるかどうかを一目で判断できるみたいだよ。