概要
- GPT-6 Astra がARC-AGI-3ベンチマークで人間を上回る行動効率を達成
- Standard harness では62.7%、 Provider Adapter harness では99.9%のスコアを記録
- 独自記法 による環境モデリングやカスタムツール作成能力を発揮
- ARC-AGI-3 はエージェント型知能のための新世代ベンチマーク
- AGI到達 の証明ではないが、汎用化に向けた大きな進展
GPT-6 AstraのARC-AGI-3での成果
- GPT-6 Astra はARC-AGI-3 Semi-Privateで Standard harness 利用時に62.7%（コスト：$26,000）、 Provider Adapter harness 利用時に99.9%（コスト：$19,000）のスコアを記録
- 行動効率 の観点で、人間の中央値よりも少ないアクションで96%のレベルをクリア
- 新規環境 に対し、 論理的ルール や 独自の記号的世界モデル を即時生成
- ドメイン固有記法 を自ら開発し、状態管理やアクション計画に活用
- コスト効率 も高く、より少ないアクションでゲームを解決することでトークン消費も削減
ARC-AGI-3ベンチマークの特徴
- エージェンティック知能 を評価するための抽象的・ターン制環境
- 探索 ：情報は自発的に取得する必要がある
- モデリング ：観測から一般化可能なモデルを構築
- 目標設定 ：報酬が希薄な中でゴールを推定
- 計画と実行 ：現状から目標までの経路を自律的に策定
- 人間基準 ：500人規模の一般参加者による中央値を基準とした行動効率比較
Astraの行動効率と独自記法
- 環境ごとに戦略ノート を選択的に保持し、物体・座標・ルール・未完了プランなどを記録
- アルゴリズム的記法 でゲーム状態や操作を圧縮表現（例：L8: hub q2 (8↓), extend8 to3 など）
- 人間より51.7%少ないアクション数 でクリアするなど、行動効率で大幅なアドバンテージ
- カスタムツール （例：maze_solver.py等）を自動生成し、複雑なゲームにも対応
ハーネスの違いと評価方法
- Standard harness ：最小限のインターフェースでモデル自身が保持情報を管理
- Provider Adapter harness ：リクエスト間で推論状態を維持し、長対話時に情報圧縮で過去の作業を再利用
- Provider Adapter 利用時は記録時間で約3.66倍高速化、トークン消費も49%削減
- 両ハーネスの結果を公開 し、明確に評価条件を区別
ARC-AGIシリーズの今後と意義
- ARC-AGI-3 は未知環境でのルール発見とインタラクション学習の実験場
- Astra の成果はフロンティアAIの能力向上を示す重要なマイルストーン
- AGIの証明ではない が、汎用化に向けた「残差ギャップ」測定の進展
- 今後の課題 ：自己改善や現実世界の複雑性に対応する新ベンチマーク設計
- オープンソースのテストリポジトリ やポリシー文書も公開され、透明性を確保
この内容により、 GPT-6 Astra のARC-AGI-3でのパフォーマンスと、ベンチマークの意義や今後の方向性が明確になります。