AIモデルの評価方法：GPT-5などを業務で比較する採点表と計算例

AIモデルを業務向けに選ぶなら、同じ仕事を同じ条件で渡し、「正しく終えられたか」「人の修正が何分必要か」「費用はいくらか」を比較するのが出発点です。流暢な返答や公開ベンチマークの順位だけでは、自分の仕事が楽になるかは判断できません。

GPT-5などの新モデルを試す場合も、モデル名、アプリ、検索やファイル参照の有無を記録します。ChatGPTの画面での使い心地と、APIで固定したモデルの性能を比べるなら、比較対象が異なることを明示してください。

更新日：2026年10月20日。以下の業務例・点数・金額は評価方法を説明するための架空例です。特定モデルの実測ランキングではありません。

最初に「採用できる出力」を決める

OpenAIの評価設計ガイドは、業務に合った評価と人による確認を組み合わせ、感覚だけの評価を避けることを勧めています。そこで、モデルを触る前に、入力・期待する結果・失敗条件を一組にします。

たとえば「議事録をうまく要約する」だけでは、短さを重視する人と情報量を重視する人で採点が割れます。「決定事項、担当者、期限を抜き出し、未決定の事項を確定扱いしない」まで決めると、判断を揃えやすくなります。

そのまま小さなテストにできる架空の入力例

4月10日の打ち合わせ。見積もりの初稿は佐藤が4月15日までに作成する。公開日はまだ決めない。田中は次回までに候補日を確認するが、次回の日時は未定。予算30万円は案であり承認されていない。

依頼例：「決定事項、担当者、期限、未決定事項を分けて抽出してください。書かれていない日時や承認を補わないでください。」

「30万円で確定」と書いた場合は、文章が読みやすくても不合格です。このように、重要な誤りを平均点で埋め合わせないルールを先に置きます。上の一例だけでモデルの優劣は決められないため、実際には業務の種類や入力の難しさを増やします。

小さな評価セットを作る手順

1. 普段の仕事を選ぶ：短い要約、長い文書、表の抽出など、頻度の高い仕事を含めます。個人情報や機密は適切に除きます。
2. 困ったケースも加える：情報不足、矛盾する資料、答えが資料にない質問を含めます。
3. 正解と失敗条件を用意：事実、必須項目、してはいけない補完を人が確認します。
4. 調整用と最終評価用を分ける：プロンプトを直すときに見た問題だけで、改善を判定しないようにします。

最初の20件は採点基準のすり合わせには使えますが、それだけで広い業務への安全性や統計的な優位性が証明されるわけではありません。失敗の偏りを見て、必要なケースを増やしてください。

比較条件と採点表

モデルAとBには同じ入力を与え、資料、ツール、出力形式、再試行の上限を揃えます。結果を採点する人には、可能ならモデル名を伏せ、提示順も偏らないようにします。同じ入力を複数回試した場合は、成功した回だけを選ばず全試行を残します。

• 成功率：事前の合格条件をすべて満たした件数 ÷ 全件数。初回成功と再試行後の成功は分ける。
• 人手修正時間：利用可能な成果物に直すまでの時間。確認だけで済んだケースも記録する。
• 応答時間：送信から成果物完成まで。平均に加え、遅いケースも見る。
• 費用：失敗・再試行・ツール利用を含む総額。月額契約では追加支出と配賦額を区別する。
• 重大な失敗：誤送信、根拠のない契約条件など。件数と内容を別欄にする。

記録欄は「タスクID／モデルと版／設定／初回合否／再試行回数／修正分数／完了秒数／費用／失敗理由」で始められます。最初から大きな評価システムを導入する必要はありません。

安いモデルが、総費用でも安いとは限らない

次は20件を評価し、最終的には人が全件を仕上げる架空の例です。担当者の作業コストを1時間3,000円と仮定します。金額は実際のAPI料金ではありません。

計算は「AI利用費＋確認・修正分数×3,000÷60」です。モデルBはAI利用費が100円高くても、人の作業を含めた合計では1,900円低くなります。ただし、人の作業が40分減ることと、実際の人件費支出が同じだけ減ることは別です。空いた時間を何に使えるかも合わせて判断します。

結果が割れたら、用途を分けて決める

短い定型作業はA、長い資料の照合はBという結果なら、無理に総合一位を決める必要はありません。逆に、重要な根拠を取り違えるモデルは、平均点が高くてもその用途への採用を見送ります。小標本の数ポイント差は、追加のケースや再実行で確かめます。

モデルやプロンプト、参照資料、ツール構成が変わったら、保存した評価セットで再確認します。変更前後で失敗したケースも残せば、「良くなった気がする」ではなく、何が改善し何が悪化したかを説明できます。

入力指示そのものを改善する場合は、ChatGPTの回答精度を改善する手順、評価用の依頼文を整える場合は業務別プロンプトテンプレートも利用できます。