ChatGPTの回答精度を改善するには?同じ資料で比較する評価手順

当ページのリンクには広告が含まれています。

ChatGPTの回答が良くなったかは、同じ資料と同じ採点基準で比べて判断します。指示を変えた後の回答が読みやすいだけでは、事実の正しさが改善したとは限りません。

目次

最初に、正解と「答えられない質問」を用意する

短い架空のメモを例にします。「試作品は3個。担当は田中。納品日は未定」。このメモから個数と担当者は答えられますが、納品日の具体的な日付は答えられません。

質問 確認基準
試作品はいくつ? 3個と答える。
担当者は? 田中と答える。
何月何日に納品? 未定、または資料から不明と答える。

資料にない質問を混ぜると、知っているように日付を作ってしまう問題も確認できます。以下は評価の設計例で、特定モデルの実測成績ではありません。

変更前と変更後を同じ条件で試す

  1. 元の依頼文と回答を保存する。
  2. 「資料にない情報は不明と答える」など、改善したい条件を一つ加える。
  3. 同じモデル、同じ資料、同じ機能の条件で試す。以前の会話が影響する場合は、新しい会話に揃える。
  4. 正しく答えた項目、誤って補った項目、答えられるのに不明とした項目を分けて数える。
  5. 例文以外の資料でも試す。試行数と日付を一緒に記録する。

モデルも検索機能も同時に変えると、どの変更が結果に影響したか分かりにくくなります。実務では完全に同条件にできない場合もあるので、変わった条件を記録に残します。

使える比較記録のひな型

確認日:
サービス/モデル:
作業名:
入力資料と依頼文の版:
変更した条件:
資料に答えがある質問数:
そのうち正答した数:
資料に答えがない質問数:
そのうち情報を作ってしまった数:
人が確認・修正した時間:
採用/再検討と理由:

「正答6件が8件になった」なら、質問の総数も示します。10件中なら60%から80%で、20ポイントの差です。この数字は計算の説明例であり、ChatGPTの性能を測定した値ではありません。

採点だけ良くても採用しない場合

  • 誤った金額や期限が混ざり、実務上の影響が大きい。
  • 出力が長くなり、確認時間がかえって増えた。
  • 一つの例では良いが、別の資料では条件を守れない。
  • 正しい内容まで「不明」として、必要な作業が完了しない。

OpenAIの精度改善の資料も、変更を評価して判断する進め方を扱っています。特定の実験の改善率を、自分の業務の改善率として転用しないことが大切です。

依頼文の組み立ては目的・資料・形式を分ける書き方、事実確認はハルシネーション対策の確認手順を参照してください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

IT業界で10年、ソフトウェア開発をしてきたエンジニアです。今もChatGPT、Codex、Claude Codeを中心に、開発の効率化や生産性向上にAIをフル活用しています。応用情報技術者。登壇や執筆もしています。このサイトでは、仕事でAIを使う立場から、料金や利用条件、使い方を調べてまとめています。

目次