AIベンチマークは仕事の1割しか測っていない？Mercor調査の中身と、自社業務でAIを評価する手順

米国で働く人の労働時間のうち、AIベンチマークできちんと測られている作業に使われているのは、1割ほどしかない。AIの評価事業を手がける米Mercorが10月15日に公開した「Benchmark Map」は、そんな推定を出しました。

新しいモデルが出るたびに、ベンチマークで何点上回ったかという比較表が並びます。けれども、その点数が測っているのは、プログラミング、金融分析、法律の調査といった一部の仕事に偏っています。事務、営業、教育、医療の現場の作業は、ほとんど試験に出ていません。

私の結論は単純です。自分の仕事でAIが使えるかは、比較表の順位ではなく、自分の業務から作った20問ほどの小さな試験で確かめたほうが早い。調査の中身と、そのやり方を順に書きます。

923職種を調べて、きちんと測られていたのは208職種

Mercorは、米労働省の職業データベースO*NETにある923職種・18,797タスクを土台にしました。そこへ、品質と経済的な意味で選んだ29のベンチマークの問題を、LLMの判定で1問ずつ対応づけています。選んだのは、まだ点数が頭打ちになっていない、公開されたエージェント型のベンチマークです。

あるタスクに5問以上の問題が対応していれば「カバーされている」とみなします。この基準を満たすタスクを1つでも持つ職種は、923のうち208にとどまりました。22ある職業群のうち6つは、該当する職種がゼロです。

そのうえで、各タスクに費やされる労働時間の割合を掛け合わせると、米国の労働時間の90%は、ベンチマークがほとんど、あるいはまったく扱っていないタスクに使われている、という推定になりました。Mercor自身も、これではAIが米国人の実際の仕事をどれだけこなせるのか知るのは非常に難しい、と書いています。

測られやすいのはIT・金融、測られにくいのは医療・教育・営業

職業群ごとの偏りは、グラフにするとはっきり出ます。次の表は、Mercorのページに載っている職業群のうち、日本の会社員にも関係の深いものを抜き出したものです。ここでの数字は、ベンチマークの問題が対応している職種の割合で、5問以上という基準より緩い数え方になっています。

エンジニアや財務担当なら、比較表の点数はある程度参考になります。事務や営業の人が同じ表を見ても、自分の作業がそもそも試験に入っていない可能性が高い、ということです。

弁護士の仕事は測られ、法律事務の仕事は測られない

偏り方には法則があります。Mercorによると、AIの影響を受けやすいと判定されたタスクは、そうでないタスクより約6倍ベンチマークに現れやすい。職種の中で重要度が最も高いタスクは、最も低いタスクより約6〜10倍現れやすい。さらに、AIの影響の受けやすさをそろえても、賃金総額の大きい職種ほど多く測られています。

象徴的なのが法律分野の例です。ベンチマークは弁護士のタスクを手厚く扱う一方、同じくらいAIの影響を受けやすい法律事務職や裁判所の書記の仕事は、ほとんど扱っていませんでした。

理由は推測するしかありませんが、私はベンチマークを作る側の事情だと見ています。AI企業が売り込みたいのは、単価が高く、成果を見せやすい仕事です。弁護士の調査業務で何点取れたかは宣伝になりますが、書類の受付や期日管理で何点取れたかは話題になりにくい。結果として、多くの人が毎日こなしている地味な作業ほど、測られないまま残ります。

「90%」をそのまま受け取らないほうがいい理由

数字が強いぶん、割り引いて読むべき点もあります。Mercor自身が、29本のベンチマークに限った推定なので保守的で暫定的だと認めています。点数が頭打ちになった易しいベンチマークを除いたため、簡単なタスクのカバーは小さく見えている可能性があります。物理的な作業を含む仕事は全体の約63%あり、そもそも測りにくいとも書いています。

Hacker Newsの議論でも、409ポイント・344コメントの中に冷静な指摘が目立ちました。「タスクの種類がベンチマークよりずっと多いと言っているだけで、測る道具の話であってAIの能力の話ではない」。逆に、カバー済みとされる子育て相談のタスクでも対応する問題は13問しかなく、「十分に測られている」とは言えない、という指摘もありました。

もう一つ、Mercorは専門家のデータを集めてAIを評価する事業を営んでいます。RuntimeWireの記事が書いているように、この隙間を強調することは同社の商売にもつながります。調査の方法は公開されていて筋も通っていますが、利害関係のある会社の数字だと知ったうえで読むべきです。

それでも、方向性は私の感覚とも一致します。90%が85%でも95%でも、比較表が多くの人の仕事を測っていないという結論は変わりません。

自社業務で小さな評価セットを作る手順

測られていないなら、自分で測るしかありません。Mercorのやり方は、そのまま小さく真似できます。タスクに分解し、時間で重みを付け、1タスクに5問以上を当てる。この3点です。

1. 1週間の作業を書き出して時間を付ける。職種のタスクを一から考えるのが大変なら、厚生労働省のjob tag（日本版O-NET）に載っている職業ごとのタスク一覧を下書きに使えます。O*NETの日本版にあたるサイトで、500以上の職業についてタスクやスキルを整理しています。
2. 時間の多い順に3〜5タスクを選ぶ。AIで得をする余地は、時間を食っている作業のほうが大きいからです。
3. 各タスクから過去の実例を5件以上集める。実際に処理したメール、請求書、議事録などです。個人名、取引先名、金額など、外部のAIに渡せない情報は伏せるか置き換えます。
4. 合格の条件を、AIに解かせる前に書く。「請求書と発注書の金額・宛先の食い違いを全部指摘できたら合格」のように、人が見て判定できる形にします。解かせた後に基準を決めると、甘くなります。
5. 2〜3のモデルに同じ指示で解かせ、人が採点する。合否と一緒に、手直しにかかった時間も記録します。
6. 時間で重み付けして集計する。どの作業の何時間分をAIに任せられそうかを、数字で出します。

たとえば、ある事務担当の1週間40時間が、会議12時間、メール返信10時間、請求書の確認8時間、資料作成6時間、その他4時間だったとします。評価の結果、メール返信と資料作成は合格、請求書の確認は不合格だったなら、AIに任せられる見込みは週16時間、40時間のうち40%です。計算式は「合格したタスクの時間 ÷ 全体の時間」で、ここでの数字はあくまで仮定の例です。

採点の記録は、表計算ソフトに次の列を作るだけで足ります。

タスク名 | 週の時間 | 問題番号 | 合格条件 | モデル | 合否 | 手直しの分数 | メモ

評価でつまずきやすい点

一つ目は、ネットで見つけた例題を使ってしまうことです。公開されている問題は、モデルが学習の段階で見ている可能性があります。自分の会社で実際に処理した、外に出ていない事例を使うのが原則です。

二つ目は、モデルごとに指示文を変えてしまうことです。あるモデルでうまくいかなかったからと指示を書き足すと、比べているのがモデルなのか指示なのか分からなくなります。指示は最初に固定し、改良するなら全モデルでやり直します。

三つ目は、1回だけ解かせて決めることです。同じ問題でも、生成AIの答えは実行のたびに少しずつ変わります。不合格だった問題は、2〜3回解かせて安定して落ちるかを見てから判断します。

Hacker Newsには、ベンチマークで手厚く測られている分野でAI開発をしている人から、「公開ベンチマークは付加価値の低い作業ばかり測っている」という書き込みもありました。自前の評価でも同じ罠があります。簡単に問題を作れる作業ばかり選ぶと、AIに任せられる割合を高く見積もりすぎます。時間で重みを付けるのは、それを防ぐためです。

問題数は、3タスク×5問で15問、5タスクなら25問です。半日あれば作れる量で、一度作れば、新しいモデルが出るたびに同じ問題で採点し直せます。比較表を眺めて乗り換えを悩むより、ずっと確かな判断材料になります。

ベンチマークの順位をどこまで信用できるかは、Googleがベンチマークを完全ダブルブラインド化した件でも取り上げました。試験の作り方が変われば点数の意味も変わる、という点は、今回の調査とも根っこが同じです。

比較表は「候補を絞る」ところまでに使う

私は、ベンチマークの比較表を捨てる必要はないと考えています。プログラミングや財務分析のように手厚く測られている仕事なら、上位のモデルはだいたい実務でも強い。比較表は、試すモデルを2〜3個に絞る段階までは役に立ちます。

ただ、事務、営業、教育、医療の現場にいる人にとっては、最終判断の根拠になりません。今日できることは、自分の1週間の作業を書き出し、いちばん時間を食っている作業から5件の実例を集めるところまでです。その5問が、どの比較表よりもあなたの仕事に近い試験になります。