AstraはQwenを改善するために重みを読み書きできます

私は素人だけど、これは「Attention is all you need」と同じくらいの大発見に感じる。LLMが重みについてこんなに素晴らしい直感を持っているのは、非常に突発的で予想外に感じる。

そうだよね？たまに、特異点や再帰的自己改善の概念が今の時代には少し不一致だなと思うことがある。人々が一般的に知的な機械が「自分のコードを変更できる論理的自動機」になると期待していた時に作られたものだから。巨大なニューラルネットワークが数週間や数ヶ月かけてトレーニングされるようになった今、その道は閉ざされると思ってた。GPT-Xがより良い・効率的なNNアーキテクチャを設計して「自分を改善する」っていうのがもっと可能性が高いと思ってた。完全に否定はしなかったけど、あなたが言う理由と同じように、重みを直接変更するのはかなり難しいと思ってた。もしかしたら、そうじゃないかもね（笑）。

これは800百万パラメータのモデルを最適化している多兆パラメータ（おそらく）モデルだってことは指摘しておく価値があるね。この方法論で自分を改善できるという兆候はないし。

私のあまり詳しくない推測だけど、ターゲットネットワーク（QwenやGemma）の重みが、より大きなエディターモデル（Astra）のコンテキストに達すると、注意プロセスが重みに対して何らかのPCAを行っているんじゃないかな。プロンプト（「これをゲームに強くして」）に条件付けて、自分のネットワークから関連する重みを取得して（それがより大きなデータベースとして機能する）、ターゲットモデルが受け入れられる潜在空間に変換して貼り付ける。もしこれが正しい直感なら、注意が達成できることは驚くべきことだね。テストとして、私は小さなネットワークが同じプロセスを使って大きなネットワークを改善することはできないと思う。追記：もっと大きな意味合いは、バックプロパゲーションだけが唯一の方法じゃないってことだと思う。

「これにはあまり感心していないけど、LLMは大量のデータを強引に解析するのが得意だよね。要するに、プログラムを書くのと同じだけど、私たちが理解できないプログラミング言語でやってる感じ。」

「『誰も脳を編集して数学が得意になることはできない』って言うけど、これがまさに『数学を学ぶこと』だと思う。ちょっと細かいことを言ってるかもしれないけど、君が言いたいのは『外科的に編集する』ってことだと分かってるけど、やっぱり注目すべきポイントだと思う。」

「だから、Astraにこれができると思うか聞いてみたら、できないって言われた。考えてみるに、もし脳がLLMのように透明で編集可能だったら、正しい方法で視覚化した小さな脳を見て、自分の脳の中の表現に基づいて直感的に理解できるかもしれないね。」

Qwenの数学の例は50回のバッチ処理に基づいていて、モデルは下流タスクでの変更を評価できたんだ。修正は、ループではなく出口を引き起こす活性化空間の方向を取り除くことが本質的なもので、これはすでに知られていたこと（すべての脱獄モデルはこれをやってる）で、Arditiらの研究に基づいてる（言語モデルにおける拒否は単一の方向によって媒介される、2024年）。だから、新しい知識を挿入することはできないけど、既存のもののルーティングやループ、重みを調整することはできるみたい。私の理解では、LoRAやGRPOのようにポストトレーニングを置き換えることができるけど、もしそれが安くなるなら、著者たちは詳しくは触れてないね。

「教えられたQwenの数学」って部分は、投稿がそう聞こえるとしても、正確ではないと思う。Qwenはすでに数学を知ってたけど、問題を解こうとするとバグって無限ループに入ってたんだ（最初の96回答のうち85がトークン制限に引っかかってた）。Astraはnumpyとpytorchを使って、ループが発生している場所を見つけて修正したんだ。Gemma 3 270Mでも同じことを試みたけど、こちらはループしないけど数学が苦手で、Astraは改善できなかった。それでも印象的だけど、研究所がML研究や解釈可能性の作業でモデルを訓練していることを考えると、予想の範囲内だね。

これは、人間がオープンソースモデルでやってきたことのより自動化された、速いバージョンに見える。AI研究がオーパス4.5の瞬間を迎えているようだけど（これは大きい）、これが狂ったような継続的学習ループを表しているかどうかは本当にわからない。