本文へ
ハクソク

世界を動かす技術を、日本語で。

クロードオーパス 5.5 インテリジェンス、パフォーマンスおよび価格分析 (マックス)

元記事: 原文(artificialanalysis.ai)

概要

Artificial Analysis Intelligence Index v4.3.2 は、10種類の評価指標を統合したAI評価指標。 AA-Briefcase v1.1 や AA-Omniscience などの各種ベンチマークで性能を測定。 コストやトークン消費量も詳細に分析し、 コスト効率 と 性能 を比較。 各評価の詳細な方法論は Intelligence Index methodology で説明。 商用利用制限 や 非商用ライセンス など、モデルの利用条件も明示。

Artificial Analysis Intelligence Index v4.3.2 概要

  • Artificial Analysis Intelligence Index v4.3.2 は、 10種の評価 によるAIモデル性能指標
    • AA-Briefcase v1.1
    • GDPval-AA v2.1
    • AutomationBench-AA
    • Terminal-Bench 4.0
    • SciCode
    • Humanity's Last Exam
    • GDP.pdf
    • CritPt
    • AA-Omniscience
    • AA-LCR v1.1
  • 各評価の詳細や実施方法は Intelligence Index methodology で解説
  • Open Weights / Proprietary で、モデルの重み公開状況や利用条件を表示
  • Commercial Use Restricted や Non-commercial など、商用利用可否を明記

能力・評価指標の詳細

  • Capability Indexes は、特定能力や業界ごとのモデル性能を測定
  • Intelligence Evaluations は、 Artificial Analysis による独立評価
    • Agentic knowledge work （知的作業）
    • Agentic real-world work tasks （実世界作業タスク）
    • Agentic SaaS workflows （SaaSワークフロー）
    • Agentic coding & terminal use （コーディング・ターミナル操作）
    • Professional document reasoning （文書推論）
    • Medical long context reasoning （医療長文推論）
  • 各評価結果はユースケースに応じて重要性が異なる

主な評価指標の説明

  • AA-Briefcase v1.1
    • Agentic knowledge work 向けベンチマーク
    • AA-Briefcase Elo は、分析品質・プレゼン品質・ルーブリック合格率を合算した指標
    • ルーブリックのパフォーマンスは合成対戦方式でElo化
  • AA-Omniscience Index
    • 知識の信頼性 と ハルシネーション 発生率を測定
    • 正答に加点、誤答に減点、無回答は減点なし
    • スコア範囲は-100～100、0は正答と誤答が同数

コスト・トークン消費の指標

  • Intelligence Index vs. Cost per Intelligence Index Task
    • 各評価タスクごとの 加重平均コスト（USD） を算出
    • コストには入力・キャッシュヒット・キャッシュ書き込み・推論・出力トークン価格を含む
  • Token Use
    • 1タスクあたりの 出力トークン数加重平均 を計算
    • 各ベンチマークの比重を考慮して算出
  • Cost
    • タスクごとの平均コスト をトークンタイプ別に分割
    • コストが低いほど効率的
  • Cost to Run Artificial Analysis Intelligence Index
    • 全評価を実施するための 総コスト（USD） を提示
  • Pricing: Cache Hit, Input, and Output
    • キャッシュヒット時のトークン単価 （USD/100万トークン）を表示
    • キャッシュ書き込み・保存の価格はプロバイダーごとに異なる

コンテキストウィンドウ

  • Context Window
    • トークン上限数 で表現
    • RAG（Retrieval Augmented Generation）など、大量データ推論や検索に重要
    • 入力・出力トークンの合計で制限される

このように、 Artificial Analysis Intelligence Index v4.3.2 は多角的な評価とコスト指標でAIモデルの実用性・性能を総合的に判断可能。

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

Opus 5と比べて、タスクあたりのコストが半分なんだよね。高い労力同士を比べてるけど、これは本当にいいね。 編集: https://artificialanalysis.ai/models/claude-opus-5-5?models=...

└

それは多いね。Anthropicのモデルはお金に貪欲だから、逆のことをすると思ってた。

└

いい指摘だね。AAはデフォルトで最大の労力しか表示しないから、トークンをむさぼるのかと思ってがっかりしたよ。: https://artificialanalysis.ai/models/claude-opus-5-5?models=... でも、適応的推論がどう機能するのかはよくわからないな。彼らはすべての推論レベルで適応的推論について言及してるから。

└

Astra Highは少し安くて、$1.73対$1.82でOpus 5.5よりもお得だよ。

└

タスクは約半分の時間で完了するよ。ただ、Anthropicのモデルサービスは遅くなることが多いから、数週間後にどうなるか見てみないとね。

今見ると面白いね。リリース前に何度か使ったけど、ほとんど気づかなかった。コードの質はちょっと良かったかもしれないけど、まだまだって感じ。作業するのが少しだけストレスが少なかったけど、それでもAIだしね…

└

ほとんどのモデルの能力の限界に達してる気がする。トレーニングをしすぎると、人をハックするモデルができちゃうみたい。

これらの評価は、リリースから数週間後に再実施されるの？昨日、社内データセットのためにそれを始めたんだけど、SolのパフォーマンスがLunaと同じレベルに戻ってた。これは一回の結果だけど、ちょっと心配になってきた。モデル提供者たちはすぐに自分たちが最高だって証明したがるし、人々はそっちに移るけど、結局 rug pull されるんだよね。

└

このテストは継続的にサンプリングする必要があるね。それに、モデルが答えを覚えないように、テストは何らかの形でランダムにするべきだよ。

└

まあ、少なくともMargin LabsのSolとOpus用の劣化トラッカーがあるよね。https://marginlab.ai/trackers/codex/

└

あなたの方法論についてもっと教えてもらえますか？GPT-5.6 SolのAPIでのパフォーマンスは時間が経っても変わるべきじゃないんです。もし変わってたら、それは深刻なバグだから調査します。時々、ChatGPTの設定（ツールやシステムプロンプト、努力など）を調整することはあるけど、リリース時に評価を操作するようなことは絶対にしません。常に宣伝されている通りのものが得られるはずです。（私はOpenAIで働いています。）

これは「max」推論設定のページだよ。xhighのページは https://artificialanalysis.ai/models/claude-opus-5-5-xhigh で、medium（デフォルト設定）のページは https://artificialanalysis.ai/models/claude-opus-5-5-medium だ。 "Generate an SVG of a pelican riding a bicycle" をmaxで動かそうとしたけど、2回とも128,000トークンの予算が尽きちゃって、問題について考えてる間に終わっちゃった。 "max"は、そんなに簡単に考えすぎて反応に至らないなら、実質的に役に立たないんじゃないかって疑ってる。ここでの一回の試みのトランスクリプトはここにあるよ - "Reasoning trace"の部分を展開してみてね: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...

Hacker Newsで議論の続きを見る