ChatGPTの回答が良くなったかは、同じ資料と同じ採点基準で比べて判断します。指示を変えた後の回答が読みやすいだけでは、事実の正しさが改善したとは限りません。
目次
最初に、正解と「答えられない質問」を用意する
短い架空のメモを例にします。「試作品は3個。担当は田中。納品日は未定」。このメモから個数と担当者は答えられますが、納品日の具体的な日付は答えられません。
| 質問 | 確認基準 |
|---|---|
| 試作品はいくつ? | 3個と答える。 |
| 担当者は? | 田中と答える。 |
| 何月何日に納品? | 未定、または資料から不明と答える。 |
資料にない質問を混ぜると、知っているように日付を作ってしまう問題も確認できます。以下は評価の設計例で、特定モデルの実測成績ではありません。
変更前と変更後を同じ条件で試す
- 元の依頼文と回答を保存する。
- 「資料にない情報は不明と答える」など、改善したい条件を一つ加える。
- 同じモデル、同じ資料、同じ機能の条件で試す。以前の会話が影響する場合は、新しい会話に揃える。
- 正しく答えた項目、誤って補った項目、答えられるのに不明とした項目を分けて数える。
- 例文以外の資料でも試す。試行数と日付を一緒に記録する。
モデルも検索機能も同時に変えると、どの変更が結果に影響したか分かりにくくなります。実務では完全に同条件にできない場合もあるので、変わった条件を記録に残します。
使える比較記録のひな型
確認日:
サービス/モデル:
作業名:
入力資料と依頼文の版:
変更した条件:
資料に答えがある質問数:
そのうち正答した数:
資料に答えがない質問数:
そのうち情報を作ってしまった数:
人が確認・修正した時間:
採用/再検討と理由:
「正答6件が8件になった」なら、質問の総数も示します。10件中なら60%から80%で、20ポイントの差です。この数字は計算の説明例であり、ChatGPTの性能を測定した値ではありません。
採点だけ良くても採用しない場合
- 誤った金額や期限が混ざり、実務上の影響が大きい。
- 出力が長くなり、確認時間がかえって増えた。
- 一つの例では良いが、別の資料では条件を守れない。
- 正しい内容まで「不明」として、必要な作業が完了しない。
OpenAIの精度改善の資料も、変更を評価して判断する進め方を扱っています。特定の実験の改善率を、自分の業務の改善率として転用しないことが大切です。
依頼文の組み立ては目的・資料・形式を分ける書き方、事実確認はハルシネーション対策の確認手順を参照してください。
