クロードが何かを測定できるようになると、それをより速くすることができる

概要

• 2023年8月、 claude.ai とデスクトップアプリのユーザー体験を約3倍高速化
• Slackチャンネル で全ての進行を一元管理し、Claudeがスレッドごとに対応
• 主要なユーザージャーニー4つに集中し、 待機時間を大幅短縮
• 計測とベンチマーク を徹底し、3,000件以上の改善を事故ゼロで実施
• 本記事では 実施内容・計測方法・安全な改善ループ を解説

claude.ai高速化スプリントの全貌

• ユーザーからの「遅い」という声を受け、 2週間で体感速度を3倍向上
• Slackの専用チャンネル で全てのやり取りと進捗管理
• Claudeを全スレッドに参加させ、 リアルタイムでボトルネック特定・改善提案
• 主要ユーザー行動4つ（アプリ起動、会話開始、既存会話ロード、メッセージ送信）に注力
  • 合計13指標で ベースラインを厳密に計測
• 75パーセンタイルでの改善例
  • claude.ai初回ロード： 3.1秒→0.55秒
  • Claude Code新規セッション： 0.8秒→0.3秒
  • Claude Cowork Cloudセッションロード： 2.6秒→0.73秒
• 毎日 数万ユーザー時間 の待機削減を実現

計測・ベンチマークと改善手法

• Claude Tag（ベータ） と社内研究モデル（Opus 5.5相当）を活用
• Claudeが ボトルネック発見・ベンチマーク作成・改善実装・デプロイ監視 を一貫して担当
• 施策ごとに ミリ秒単位の効果予測 を行い、目標値を設定
• 2週間で 13指標中12を3日目で達成
• 例：HTMLに静的コンポーザーを組み込み、React初期化中でも入力可能に
• V8コードキャッシュ のプリコンパイルでデスクトップの起動高速化
• 会話間の移動高速化のため、コンポーザーのマウント維持やセッションのプリフェッチを実施
• Claudeが 新たな改善機会を自律的に発見・提案 する仕組みも導入

ラボでのパフォーマンス計測とCIガードレール

• デプロイ頻度より速いイテレーション を目指し、ラボでの計測手法を多様化
• Valgrind＋Node --predictable でJSインストラクションカウントを取得
• ブラウザ経路ではReactコミット数、V8関数呼び出し数、DOM変異数なども活用
• ベンチマークは2つの役割
  • Claudeが改善できるラボ指標
  • CIでのガードレール（数値は下がる方向にしか進まない）
• ユーザー体感（壁時計時間）と指標の相関性をClaudeが検証
• 例：会話メッセージツリー組み立てやコード出力スキャナのホットパスで指標削減
  • インストラクション数48%/31%削減、体感時間78%/44%短縮

スレッドごとの改善ループ

• Slackチャンネル内で全ての議論・改善・レビューが進行
• ループの流れ
  • エンジニアが遅延箇所をスレッドで報告
  • Claudeがフロー解析・ベンチマーク作成
  • ラボで改善後、PR提出（リスク別に複数用意、ユーザー影響はフラグ管理）
  • デプロイ後、Claudeが実地データ監視・ベンチマーク値を更新
  • 改善がなければフラグを戻して再挑戦
• 例：サイドバーの行が遅れて表示される問題を、Layout Instability APIで直接検知・修正
• 1スレッドで50〜100件の最適化PR が出るケースも

水平展開と自律的スケーリング

• ループを複数スレッドで同時進行、新たな改善機会をClaude自身が発見・着手
• 例：Reactフックの多重呼び出しや不要なstyle再計算、隠れたlocation.reload()の検出と修正
• 日によって200件以上の変更をデプロイ
• 新しいベンチマーク・テレメトリの追加で 改善の連鎖を促進

安全な高速改善のためのガードレール

• 全PRは自動レビュー＋人間の承認
• 最適化前に必ずユニットテストを追加
• ユーザー影響のある変更は 短期間のフラグ管理 で段階的リリース
• フラグが増えた場合は 専用管理スレッド で整理
• 全ての進行がSlackチャンネルで可視化 され、他チームも参加可能

まとめと今後の展望

• 計測できるものは必ず改善できる という教訓
• Claudeとの協働により 爆発的な改善速度と安全性 を両立
• 今後も 新たな計測指標と自律的な改善ループ の拡大を目指す方針