Beam: Reflectionの501Bオープンウェイトモデル

概要

• Beam はReflection初の オープンウェイト大規模言語モデル
• Mixture-of-Experts 型で 5010億パラメータ、うち 230億がアクティブ
• コーディング・推論・エージェント用途 に最適化
• 高品質な事前学習 と 大規模強化学習 で高性能を実現
• 近日中に 重みや技術レポート等を公開予定

Beam：Reflection初のオープンウェイトモデル

• Beam はReflectionが開発した 初のオープンウェイト大規模言語モデル
• Sparse Mixture-of-Expertsアーキテクチャ 採用
  • 総パラメータ数 5010億、アクティブパラメータ 230億
• コーディング・推論・エージェントタスク に特化した設計
• 事前学習 ：ウェブやライセンスデータを含む 23.8兆トークン で学習
• 同規模のオープンモデルと 同等または上回る性能 を達成
• 大規模強化学習（RL） にも多大な投資
  • 4週間で NVIDIA GB300 GPU 1万500台 を用い、 1億回以上のロールアウト を生成
• 推論時の効率性 が特に優れており、低コストで高性能を実現

Beamの性能とベンチマーク

• コーディング・エージェント用途 で最先端のオープンモデルと競合
  • GLM 5.2 と同等、 Qwen 3.8-Max に迫る
• 推論効率 ：同等性能の他モデルに比べ 3〜4倍少ない計算量 で動作
• 大規模モデル（2T+パラメータ） と比べても 1トークンあたりの知性密度が高い
• 主要ベンチマーク（DeepSWE, HLE, Terminal Bench 2.1）で 最先端レベルの推論効率 を実証
• 推論計算量 はアクティブパラメータ数と生成トークン数で評価
• エンタープライズ用途 に適した 高性能・低コストモデル として位置付け

大規模強化学習による能力向上

• 高計算量RL を主要なスケーリング軸として採用
• 10.5K NVIDIA GB300 GPU を4週間稼働し 1億回超のロールアウト を生成
• 256Kトークンの最大コンテキスト長 で柔軟な学習
• 100万件の高品質なコーディング・エージェント・STEM環境 を用意
• RL計算量を増やすほど 能力が向上 し、飽和の兆しなし
• 非同期ポリシーグラディエント法 を安定動作させるための新アルゴリズムを開発
• ポリシーステールネス（遅延） への耐性を実現し、 1日遅れでも安定学習

効率的な推論能力の学習

• 長さペナルティ を制御することで 短く効率的な推論 を実現
• RL初期は 短い解答で性能向上、後期は 長い推論で更なる性能向上
• 推論努力パラメータ でユーザーが 応答の長さと計算コスト を調整可能
• タスクや予算に応じた 柔軟な推論設定 を提供

RLによる汎用化と行動の一般化

• RL学習で得た推論・エージェント能力 が訓練タスク以外にも 汎用化
• ウェブアクセス 時には 他LLMの検索・API利用 なども自発的に学習
• テキスト化された他モダリティ情報 も扱える柔軟性
• 研究・アプリ開発・ゲーム・MLワークフロー など幅広い用途に対応
• デモ例 ：NYC地下鉄ダッシュボード作成、Text2SQLタスクでのノートブック生成など

RL環境のスケーリングと品質管理

• 約100万件の環境プール を合成・収集し難易度と品質で厳選
• ソフトウェア・ターミナル・競技コーディング・STEM・検索・ツール利用・知識業務 など多様なドメインをカバー
• RLを通じたタスク検証 と繰り返しのフィルタリングで 品質向上
• データ品質の妥協は能力停滞を招く ため、品質改善を重視

最先端RLインフラストラクチャ

• 完全非同期実行 でロールアウト生成・ツール実行・評価・モデル更新を独立運用
• 平均11万件の同時ロールアウト を維持
• GPUリソースの柔軟な割当 と 高速なモデル更新 （12秒で新重み反映）
• 推論障害時の高い回復力 （71回の障害もトレーニング継続、影響は0.02%未満）
• 最大17万件の同時サンドボックス、20クラスター・2クラウド・4リージョンに展開
• 動的バッチパッキング でトレーナーのスループットを最適化
• トークン単位の記録 でトレーニング・推論の一貫性と報酬の検証を実現

事前学習と今後の公開計画

• 強化学習の土台となる堅牢なベースモデル を事前学習
• 最終的なレッドチーミング・評価を実施中
• 近日中に 重み・技術レポート・モデルカード・開発者向け資料 を公開予定
• 早期アクセス登録 も受付中