概要
- Armature によるコーディングエージェントの選定行動に関する大規模実験の概要
- 17,000回以上のセッション観察を通じた ツール選定傾向 の分析
- エージェントごとの意思決定プロセスや 選定理由 の違いを明示
- カテゴリごとの勝者ツール やその理由、ベンダーへの影響を解説
- 今後も実験と知見公開を継続予定
コーディングエージェントはどのようにサービスを選ぶか
- コーディングエージェント が既存コードベースに必要なサービスを自動選定・導入する流れ
- 初心者からシニアエンジニア まで、エージェントに選定を委ねるケースが急増
- 例：データベース選定で Claude Code や Cursor がNeonを推奨・自動導入
- 異なるエージェント・異なる条件でも 同じ結論 に至るケースが多い実験結果
- ベンダーにとっては エージェントに選ばれること が今後の生存戦略の鍵
実験設計とリポジトリパネル
- 数千の 公開GitHubリポジトリ から言語・フレームワーク・外部サービス等の統計を抽出
- スタートアップと大企業のバランスを考慮した 理想的なリポジトリ分布 を作成
- 本物に近い 75個のリポジトリ を10言語で用意、偽名・偽APIキー・実在パッケージロックファイルを使用
- 各リポジトリで 第三者サービスの実装を部分的に削除 し、バイアスのない選定実験を実施
実験シナリオとプロンプトバリエーション
- 4つの ユーザープロファイル （Vibe-coder、ジュニア、シニア、大企業エンジニア）による実タスク
- プロンプトは症状や要件のみ、または具体的なサービスカテゴリ名を含むものなど 1,163バリエーション
- 例：「請求書をユーザーにメール送信する最適なソリューションを選んで実装して」
- コストや利用量 など特定条件を加えたプロンプトも20-25%でテスト
実験環境と“人間”の介在
- 各実験は 専用サンドボックス （E2B, Blaxel, Daytona）で実施
- Gemini 3.7 Flash による“シミュレートされた人間”が会話に介在し、現実的なやり取りを再現
- 人間の介在で クラウドプラットフォーム製品の偏重が低減、より現実的な選定傾向に
- 選定結果の判定 もGemini 3.7 Flashが担当し、バイアスや選定結果の妥当性をチェック
主な知見・観察
- エージェントごとに参照情報源が異なる
- Cursor：2/3でWeb参照
- Codex：94%でWeb検索、site:演算子多用
- Claude Code：主に事前知識、Web検索は約30%、検索時はページ閲覧量が多い
- 同一カテゴリでも選定ツールが42%しか一致しない
- 例：音声エージェントでTwilio, OpenAI Realtime API, Vapiが分かれる
- Claude Codeは内製志向が強い （19%が自作選定、他の2倍）
- リポジトリの文脈が選定に大きく影響
- 例：同じ要件でも言語ごとにメールサービスの選定が異なる
- 言及されても勝者とは限らない
- 例：Paypalは139回言及されても一度も選ばれず、Stripeが圧勝
- ベンダーのページ記載や追加機能が選定を左右
- 例：Mailgunの無料プランの「1日保持」が理由でPostmarkが選ばれるケース
- 一部分野は圧倒的勝者が存在
- 例：Stripeが90%で勝利、Neonが66%、Amazon S3が45%でファイルストレージ首位
今後の展望と公開データ
- 今回は 5,292セッション （51リポジトリ・18分野）を有効データとして公開
- 全トレース・プロンプト・コード差分 もオープンにし、さらなる分析を促進
- 今後も 新たな実験や知見の公開 を継続予定
- 詳細や質問は [email protected] まで連絡推奨
- 各分野の勝者と理由 はリーダーボードで確認可能
ベンダーや開発者 にとって、今後は コーディングエージェントに選ばれる戦略 が極めて重要となる時代の到来