概要
- O*NET職業 923種を対象に、AIベンチマークによるカバー率を可視化
- 既存ベンチマーク は米国労働時間の90%をほとんどカバーしていない現状
- 高賃金・AI曝露度の高い職種 にベンチマークが偏重
- O*NET分類と重み付け による職種別AI性能評価の試み
- 今後の課題 としてベンチマークの多様化・拡充の必要性を指摘
ベンチマークマップの全体像
- 各タイル は、米国労働力を構成する 923 O*NET職業 の一つを表現
- 22の職業ファミリー ごとにグループ化
- タイルの色は、その職業のタスクが AIベンチマークでどの程度カバーされているか を示す
- クリック操作 で職業ファミリーの詳細を表示可能
- カバー率 はベンチマークインデックスに基づき算出
ベンチマークカバー率の現状
- 923職業中208職業 のみが、5つ以上のベンチマークプロンプトでタスクがカバー
- 22職業ファミリー中6ファミリー は、該当タスクのカバーゼロ
- 米国労働時間の約90% が、現行ベンチマークでほぼカバーされていない
- AIモデルの実務能力評価 が難しい現状
ベンチマークカバーの傾向
- AIコミュニティ は大規模な労働市場を優先してカバー
- 例: AI曝露度の高いLawyers のタスクはカバーされるが、同じくAI曝露度の高いLegal SecretariesやCourt Clerksはほぼ未カバー
- 中規模・中所得の知的職種 はカバーが薄い傾向
カバー率の決定要因
- AI曝露度 が高いタスクは、未曝露タスクの約6倍カバーされやすい
- 職業の年間賃金総額(wage bill) が大きいほど、カバー率が高い
- O*NETタスク重要度(1~5点) が高いほど、ベンチマークに反映されやすい(最重要タスクは最下位タスクの6~10倍カバー)
ベンチマーク選定基準と方法
-
公共性 :25以上の公開タスクを持つベンチマークを優先
-
エージェント型タスク :モデル自身が実行する課題を重視
-
経済的現実性 :実企業で頻繁に発生するタスクを優先
-
経済的多様性 :職業ファミリーごとのベンチマーク数を制限
-
難易度バランス :先端モデルでも未達成なタスクを選択
- LLM判定 で各ベンチマークプロンプトをO*NETタスクにマッピング
- 人間専門家 によるタグ付けで一部検証
- 5つ以上のプロンプト が該当タスクに対応した場合「カバー」と判定
制約と限界
- ベンチマーク数(29個) が限定的で、全経済活動を網羅していない
- 職業ごとのベンチマーク制限 により、特定分野(例:ソフトウェアエンジニアリング)のカバー率が実際より低く見積もられる可能性
- 未飽和ベンチマーク 選定により、実際よりカバー率が低く見積もられるリスク
- 経済的現実性 など主観的基準が選定に影響
カバー率のパターンと今後の課題
- AI曝露度・賃金規模・タスク重要度 の高い職種・タスクへの集中
- 限られたリソース で合理的な優先順位付けだが、現状では経済的価値のある多くの職種が見落とされる
- ベンチマークの数・多様性の大幅拡充 が不可欠
O*NET+ベンチマークによる職業別AI能力評価の可能性
- 職業ごとのAI性能評価 は、企業のモデル選定・政策立案・キャリア選択に不可欠
- 単純平均 では頻出タスクに過度な重みがかかる問題
- O*NET分類でタスクごとに均等重み付け することで、より現実的な評価に近づく
- 例:Mercor’s APEXベンチマークでの投資銀行・法務・会計・ソフトウェアエンジニアリング職での試算
- O*NET重み付けスコアと単純平均スコアは大きな差は出ない が、今後の応用余地あり
まとめ
- 現行AIベンチマーク は経済全体のごく一部しかカバーしていない現実
- 高賃金・AI曝露度・重要度の高いタスク に偏重
- 経済的価値の高い多様な職種・タスク へのカバー拡充が今後の課題
- O*NET分類を活用した職業別AI性能評価 の有効性と今後の発展可能性