ダスト：バックプロパゲーションなしのトランスフォーマーの事前学習

概要

• Dust は、トランスフォーマー言語モデルの事前学習で backpropagation（逆伝播）に匹敵する性能 を初めて実現したゼロ次最適化手法
• 活性化（ノード）摂動 を各トークンごとに独立して行い、1回の順伝播で仮想的な大規模集団を並列評価
• 大規模集団・高計算リソース環境 ではbackpropを上回る場合もあり、従来法（EGGROLL等）より桁違いに効率的
• モデルが大きいほど集団効率が向上 し、スケーリングに有望
• 本手法は「探索型クレジットアサインメント」の基盤構築が目的、計算効率や新型ネットワークへの適用は今後の課題

Dust：backpropを超える可能性を秘めたゼロ次最適化手法

• Dust は、トランスフォーマー言語モデルの事前学習において backpropagation と競合可能な 初のゼロ次最適化法 の提案
• 各トークンごとに 活性化（ノード）を摂動 し、各トークンを仮想的な集団メンバーとして扱う発想
• 1回の順伝播で全トークンを並列評価、 仮想集団 の導入で計算コストを劇的に削減
• 大規模集団（高計算リソース） ではbackpropを凌駕するケースも観測、今後のスケーリングに期待
• 従来の重み空間ES（進化戦略） よりも 3〜4桁効率的 （EGGROLL比）
• 大規模モデルほど集団効率が向上 し、過剰パラメータ化の新たな意義を示唆
• Dustの勾配推定は、集団規模が大きくなるほどbackpropの勾配と高い整合性を保つ傾向

背景：backpropの限界と探索型アルゴリズムの意義

• 深層学習 はbackprop（微分可能性前提）に強く依存してきた歴史
• 計算資源の増大 により、微分可能性やbackpropに依存しない「探索型」アルゴリズムの価値が再評価
• AlphaGo Zero のように、計算量に比例して汎用的な手法が最終的に優位となる「苦い教訓」
• backpropは低計算リソース下では効率的だが、 高計算リソース下では探索空間を制限
• 勾配ベース手法は損失地形の探索が不完全で、 大規模データ依存・一般化能力の課題
• 汎用的な探索型クレジットアサインメントの重要性

Dustのアルゴリズム概要

• 各線形層の出力に ガウスノイズを各トークンごと独立に付加
• 順伝播後、 各トークンごとの損失変化 でノイズに報酬を割り当て
• 報酬重み付きノイズ平均を勾配推定に利用、 重み勾配は入力との外積で計算
• アテンション層は特殊な報酬割り当て（現在・未来トークンを考慮）
• 重み空間ESは1順伝播で1集団メンバー評価 だが、Dustは 各トークンごとに仮想集団評価 が可能
• 1順伝播あたり数千〜数万の仮想集団を並列評価、大幅な効率化

活性化空間摂動と仮想集団

• 進化戦略のボトルネック は集団サイズ（重み摂動ごとに順伝播が必要）
• EGGROLLは低ランク摂動でコスト削減するが、 依然として集団サイズに限界
• Dustは活性化空間を摂動 し、各トークンを独立な仮想集団メンバー化
• 重み空間をバイパス し、1順伝播で数千メンバーを評価
• 全重みがこの方法で学習 （一部残差スカラーのみ重み空間ES）
• 活性化摂動はノード摂動（node perturbation）とも呼ばれる
• 活性化摂動は より低次元な探索空間 で効率的

クレジットアサインメントの設計

• 線形層：各トークンの出力にノイズ、損失変化で報酬付与
• 層ごと・トークンごとに 独立した報酬計算
• アテンション層は 現在・未来トークンの出力誤差で間接的に報酬
• 実装上の工夫（摂動モジュール間の干渉回避など）を導入

今後の展望と課題

• 本論文の目的は backpropに匹敵する探索型アルゴリズムの基盤構築
• 現時点では 計算効率や新型ネットワークへの適用は未検討
• 外部プログラムを組み込んだネットや、時間方向にループするトランスフォーマー など、backpropが苦手な構造への応用は今後の課題

---

Dustは、トランスフォーマーの事前学習においてbackpropの代替となるゼロ次手法として、仮想集団・活性化空間摂動という新たなパラダイムを提示。大規模モデル・高計算リソース時代の新しい学習アルゴリズムの可能性を示唆する。