Livenerf: Opus 5.5は nerfされていますか？

概要

• livenerf は、AIモデル（特にOpus 5.5）がリリース後に 静かに性能低下 するかを検出するための 長期・決定論的ベンチマーク
• Anthropic製モデル に関する「リリース後の性能低下疑惑」を 客観的に検証 することが主目的
• Inspectフレームワーク と 事前登録プロトコル で、評価の 再現性・透明性 を確保
• 出力トークン数 や 正答率 など、複数指標でモデルの「劣化」を追跡
• セットアップ・運用方法 や 検出限界 も詳細に記載

livenerf：フロンティアモデルの静かな劣化を検出するためのベンチマーク

• livenerf は「モデルがリリース後に目立たず劣化するか」を調べるための 地味で追加のみのベンチマーク
• Anthropic のモデルに対し「リリース後に性能が下がる（nerfされる）」との報告があり、その真偽を 定量的に検証
• モデルの 量子化・小型化・ルーティング変更 等が疑われているが、 客観的な基準がなかった ため、議論が感覚論に終始
• Claude Opus 5.5 のリリース（2026-09-22）を機に、 初日から長期的に性能を記録
• ベンチマークは毎日1回・30日間実施 し、 10日ごとにウィンドウを区切って変化を評価
• Inspect（UK AI Security Institute製OSS） を基盤とし、 Anthropicの公式評価手法 に準拠
• 完全に決定論的 にはできないが、 プロンプト・CLI・ロガーを固定 し、 外部要因を極力排除
• サンプリングパラメータ不可、 思考停止不可 だが、 その他全てを固定化
• 統計的ドリフト検出 で、数千サンプルから性能変化を捉える設計

ベンチマーク設計・運用

• GPQA Diamond・MMLU-Pro・競技数学・AIME 2025–26 の問題からパネルを作成
• Opus 5.5 は初回で約93%正答、97%は常に正解or不正解の問題
• 時々正解する78問 をパネル化し、 選択バイアスも測定
  • 新規サンプルでは正答率が54.7%→62.0%に上昇
• 1日1回全パネル実行で、10日ウィンドウごとに7.5ptの変化を検出
• 出力トークン数の減少 が「低努力」を最も敏感に示す
  • 例：低努力＝トークン−62%、正答率−8.3±4.5pt
• 同系統モデル（Opus 5→5.5）入替は検出困難 ：10日ウィンドウでも判別難

質問パネル・バリデーション

• 78問＋除外2問 を精査し、 8件の誤答キー・30問の曖昧問題 を確認
• 事前登録済み感度分析 で、これらを除外した場合も結果を再計算
• 安全分類器の介入・拒否サンプルも記録・除外
• 全プロセス・設計・検証はdocs/以下に記録 し、 透明性確保

結果・評価指標

• 10日ごとにOpus 5.5のパネル成績をローリング表示
• ペアごとのスコア差分（SE付） が主要指標、 出力トークン数 も重要副指標
• 改善も劣化も同等に報告
• baselineは初日〜10日目、以降2つの10日ウィンドウで判定
• 判定基準 ：両ウィンドウで99%信頼区間を下回り、3pt以上、かつコントロールで再現しない場合のみ「劣化」と判定

セットアップ・運用手順

• Python 3.11+・uv・Claude Code（Maxサブスク） が必要
• CLIバージョン固定は必須 ：アップデートでハーネスが変わるとモデル変化と区別不能
• 自動アップデートOFF・バイナリ手動保存 で完全固定
• パネル設計・ロック・バリデーション を順に実施
• 事前登録（pre-registration）をgit commit/pushで証明
• 実行前に全チェック（preflight） でREADY確認
• 毎日1回、週・5時間メーター上限未満で自動実行
  • Linux/macOS：cron、Windows：タスクスケジューラ
• inspect viewで全記録閲覧・分析
  • 10日ごとに差分・判定を自動集計

技術的特徴・設計思想

• 完全密閉実行 ：短い固定プロンプト、ツール・サーバ・メモリ・設定なし、1ターン、空ディレクトリ
• コード課題は外部で採点 ：Claudeはテキスト出力のみ、ハーネスがサンドボックス採点
• 努力度（effort）は明示指定、デフォルト不可
• 生ログはappend-only・編集不可 （.eval形式、gitignore推奨）
• API移行もタスク・採点方法は不変
• 同一質問の繰返し・ペア比較で難易度影響を排除
• コントロールモデル（Opus 5）でハーネス側の変化も検出
• 事前登録済みの統計手法 で恣意的解釈を排除
• カナリア文字列（LIVENERF CANARY GUID）でデータ真正性を保証

限界と注意点

• API直モデルとは異なる ：サブスク経由Claude Codeの挙動のみを測定
• ローンチ週は最良とは限らない ：新スタック・バグ・負荷等の影響あり
• 2025年の品質事故はインフラバグであり、意図的劣化ではなかった

---

まとめ

• livenerfは「AIモデルの静かな劣化」を検出するための高再現性・高透明性ベンチマーク
• Anthropic Opus 5.5 のパフォーマンスを 長期間・客観的に記録・分析
• セットアップ・運用・評価指標・限界まで詳細に設計
• AIモデルの「信頼性問題」議論における客観的証拠基盤のひとつ