世界を動かす技術を、日本語で。

米国の労働時間の90%はAIベンチマークで十分にカバーされていないタスクに費やされている

2026年10月17日原文(mercor.com)

概要

  • O*NET職業 923種を対象に、AIベンチマークによるカバー率を可視化
  • 既存ベンチマーク は米国労働時間の90%をほとんどカバーしていない現状
  • 高賃金・AI曝露度の高い職種 にベンチマークが偏重
  • O*NET分類と重み付け による職種別AI性能評価の試み
  • 今後の課題 としてベンチマークの多様化・拡充の必要性を指摘

ベンチマークマップの全体像

  • 各タイル は、米国労働力を構成する 923 O*NET職業 の一つを表現
  • 22の職業ファミリー ごとにグループ化
  • タイルの色は、その職業のタスクが AIベンチマークでどの程度カバーされているか を示す
  • クリック操作 で職業ファミリーの詳細を表示可能
  • カバー率 はベンチマークインデックスに基づき算出

ベンチマークカバー率の現状

  • 923職業中208職業 のみが、5つ以上のベンチマークプロンプトでタスクがカバー
  • 22職業ファミリー中6ファミリー は、該当タスクのカバーゼロ
  • 米国労働時間の約90% が、現行ベンチマークでほぼカバーされていない
  • AIモデルの実務能力評価 が難しい現状

ベンチマークカバーの傾向

  • AIコミュニティ は大規模な労働市場を優先してカバー
    • 例: AI曝露度の高いLawyers のタスクはカバーされるが、同じくAI曝露度の高いLegal SecretariesやCourt Clerksはほぼ未カバー
  • 中規模・中所得の知的職種 はカバーが薄い傾向

カバー率の決定要因

  • AI曝露度 が高いタスクは、未曝露タスクの約6倍カバーされやすい
  • 職業の年間賃金総額(wage bill) が大きいほど、カバー率が高い
  • O*NETタスク重要度(1~5点) が高いほど、ベンチマークに反映されやすい(最重要タスクは最下位タスクの6~10倍カバー)

ベンチマーク選定基準と方法

  • 公共性 :25以上の公開タスクを持つベンチマークを優先

  • エージェント型タスク :モデル自身が実行する課題を重視

  • 経済的現実性 :実企業で頻繁に発生するタスクを優先

  • 経済的多様性 :職業ファミリーごとのベンチマーク数を制限

  • 難易度バランス :先端モデルでも未達成なタスクを選択

    • LLM判定 で各ベンチマークプロンプトをO*NETタスクにマッピング
    • 人間専門家 によるタグ付けで一部検証
    • 5つ以上のプロンプト が該当タスクに対応した場合「カバー」と判定

制約と限界

  • ベンチマーク数(29個) が限定的で、全経済活動を網羅していない
  • 職業ごとのベンチマーク制限 により、特定分野(例:ソフトウェアエンジニアリング)のカバー率が実際より低く見積もられる可能性
  • 未飽和ベンチマーク 選定により、実際よりカバー率が低く見積もられるリスク
  • 経済的現実性 など主観的基準が選定に影響

カバー率のパターンと今後の課題

  • AI曝露度・賃金規模・タスク重要度 の高い職種・タスクへの集中
  • 限られたリソース で合理的な優先順位付けだが、現状では経済的価値のある多くの職種が見落とされる
  • ベンチマークの数・多様性の大幅拡充 が不可欠

O*NET+ベンチマークによる職業別AI能力評価の可能性

  • 職業ごとのAI性能評価 は、企業のモデル選定・政策立案・キャリア選択に不可欠
  • 単純平均 では頻出タスクに過度な重みがかかる問題
  • O*NET分類でタスクごとに均等重み付け することで、より現実的な評価に近づく
    • 例:Mercor’s APEXベンチマークでの投資銀行・法務・会計・ソフトウェアエンジニアリング職での試算
    • O*NET重み付けスコアと単純平均スコアは大きな差は出ない が、今後の応用余地あり

まとめ

  • 現行AIベンチマーク は経済全体のごく一部しかカバーしていない現実
  • 高賃金・AI曝露度・重要度の高いタスク に偏重
  • 経済的価値の高い多様な職種・タスク へのカバー拡充が今後の課題
  • O*NET分類を活用した職業別AI性能評価 の有効性と今後の発展可能性

Hackerたちの意見

私のソフトウェアエンジニアリングの仕事の約80%は、「ステークホルダー」間の意見の不一致を解決することに費やされています。

└

50%がオフィスの政治、30%がステークホルダーや期待の管理、10%がデザイン/開発って感じかな。

└

問題は、みんなを途中で入れ替えることができないってことだね。これは当たり前のことだけど、実際の知恵でもあると思う。並行モデルセッションが、迅速な解決に強いバイアスを持っているのが面白い。人間に対して効率的な意思決定構造を作るために、コントロールを共有したり手放したりすることも含めてね。子供の頃、ビョークの「Army of Me」が大好きだった。1000人の自分が摩擦なく協力してコミュニケーションを取れたら、世界を支配して、すべてを修正し、文明を拡大するのに必要なものはそれだけだと思ってた。無駄な時間は使わないしね。彼らのハイパーチームプレイがどれだけ訓練によるものか、どれだけゲーム理論の現実政治を意識しているのか気になるな。だから、個々のセッションは特定の文脈において自分のアイデンティティや自己価値を投資しないんだ。私の夢はほぼ達成された。私一人と彼ら999人でかなりのことができる。でも、その流れは…

└

AIは、キッチンにシェフが多すぎる問題を解決するのにぴったりな技術だね。千のスタートアップが花開くのを見よう?

└

「AIがそう言ったから、反論できない」って言えるようになるのを想像してみて。

└

私のソフトウェアエンジニアリングの仕事の約80%は、海外の契約者に私のチケットリクエストを終わらせるように催促することだよ。

└

「Bullshit Jobs」の内容に追記 [1]: 「ステークホルダー」は企業の無駄な役割の中で第1位だね。二重の目的があって、(a) グループを代表することで誰も排除されることを責められないようにし、(b) グループが実際に気にかけているように見せるために、通常は役に立たないフィードバックを提供することだよ。[1] https://en.wikipedia.org/wiki/Bullshit_Jobs

└

これからの少しの間は、リーダーシップにとって、解決策を生産に持っていくのにかかる時間のほとんどがコーディングじゃないってことが明らかになると思う。多くの上司は、機能が初めて考えられたその日に生産に入るっていうビジョンを持ってるけど、そんなことは起こらないよ。

└

「ステークホルダー」ってのは企業の進化の自然な結果だよ。大きくなるにはもっとやらなきゃいけないし、もっとやるには人が必要で、その人たちは agendas を持ってくる。特にリーダーシップの中でよくあるのが「どうやって他の人より先に行くか?」ってこと。組織が大きくなるほど、これらの agendas が対立するようになる。そうなると、官僚主義や帝国主義、領土意識みたいな最適でないダイナミクスが生まれて、「オフィス政治」とかにまとめられちゃう。これが生産的な努力からエネルギーを奪うんだよね。だから、AIがその問題を解決する様子も見えるよ ;-) (半分冗談だけど)

└

それが本当なら、両方のオプション、あるいは3つや4つのオプションを実装すればいいじゃん。幸いなことに、雇用主にとっては、私たちが自由時間に競合他社を作るのは違法なんだよね。

└

ジェーン・ストリートのことかな?内部市場があって、ステークホルダーが何かを求めると入札したり取引を実行したりするような仕組み。もしその要求が損失を生むことになったら、買う力は失われちゃう。こういうシステムが周辺に存在するのはみんなにとって良いことだと思う。例えば、政治家が約束や要求、レトリックで時間を無駄にすることがどれだけ多いか。知ってる「ステークホルダー」とは似たようなもんだよね。オフィスの政治ってそういう理由がある。もし彼らが何かしらのシステムで罰せられたらどうなるんだろう?ステークホルダーが喋ってる間に座ってるのは、2年ごとに新しい代表を選んで何かが変わるのを期待するのとあまり変わらない気がする。複雑さが加速する世界では、基本的な仕組みが壊れてるよね。このやり方だと、元の要求に対して厳格さを強制する傾向もあるだろうし。ステークホルダーの大きな問題は、彼らが本当に何を求めているのか分からないこと。経済的な約束をする政治家みたいに、実績を見せずに投票を求めてくるんだ。

我々の調査結果は、アメリカの労働時間の90%が既存のベンチマークからほとんどカバーされていないタスクに費やされていることを示唆しています。これにより、AIモデルがアメリカ人が実際に行っている仕事にどれだけ適しているかを知るのが非常に難しくなります。 > ... > しかし、AIへの露出をコントロールした後でも、大きな賃金を支払う職業のO*NETタスクがベンチマークプロンプトの中で過剰に代表されていることがわかります。つまり、要するに、彼らはAIに良い仕事を奪ってほしいと思っているんです。AIは「ゴミを集めて空にする」や「トイレをサービス、清掃、補充する」などのタスクを持つ仕事には来ないし、「洗剤や酸を容器に混ぜて、仕様に従って洗浄液を準備する」なんて仕事にも来ない。私たちソフトウェアエンジニアや弁護士は、今すぐ再教育を始めるべきだし、生活水準を調整する必要があるよ!これがAIが社会や全ての人の生活水準を改善する方法の一つを示しているんだ。知的なタスクに使われていた労働が、まだ人間の手が必要な単純で低賃金な仕事に向けられることで、より清潔で手入れの行き届いたトイレが実現するからね。楽観的になる理由があるよね?

Hacker Newsで議論の続きを見る