AIに「もっとよいプロンプトに直して」と頼むと、説明が長くなり、専門的な言葉も増えます。それでも、元の依頼より正しく答えられるかは、別に確かめなければ分かりません。
メタプロンプトは、別のプロンプトを作る・修正するための指示です。文章として立派に見えるかではなく、同じ入力に対して必要な回答を返せるかで採否を決めます。ここでは社内規程への質問を例に、指示の改善と評価を分けます。
規程、質問、判定例は、どれも私が作った架空の教材です。
改善前に、何を正解とするか決める
練習用の規程を次の3行に限定します。現実の会議室予約には使わないでください。
会議室Aは6人まで利用できます。
会議室Bは12人まで利用でき、前営業日までの予約が必要です。
休日の利用可否は、この規程には記載されていません。
この課題では、人数の上限を正しく読むこと、Bの予約条件を落とさないこと、記載がない休日ルールを補わないことを合格条件にします。Anthropicの評価設計ガイドも、用途に合う測定可能な成功条件を先に定める考え方を示しています。
改善する前の短い指示は「規程を読み、利用者の質問に答えてください」とします。比べるときの出発点として、あえて短くしています。
条件を勝手に足させないメタプロンプト
次の回答用プロンプトを改善してください。
改善前:規程を読み、利用者の質問に答えてください。
目的:規程の範囲内で、利用可否と必要な条件を答える。
合格条件
・人数上限と予約条件を回答から落とさない。
・規程にないルールを作らず「記載なし」と答える。
・判断に必要な入力がなければ、必要な確認事項を示す。
変えてはいけないもの
・規程の内容、上限人数、予約条件。
出力
1. 改善後のプロンプト
2. 変更箇所と、どの合格条件に対応するか
3. 改善しても残る限界
本番の質問への回答は、ここでは生成しないでください。
重要なのは、採点に使う質問と正解をすべて見せて、その答えだけを暗記した指示を作らせないことです。改善時には失敗の種類や練習例を渡し、採否は別の質問で判断します。
指示に入れる条件と、入力欄を分ける
人が確認した後の指示は、例えば次のように整理できます。これもモデルの実測出力ではなく、条件を満たす書き方の例です。
入力された規程だけを根拠に、質問に回答してください。
規程:[本文]
質問:[利用者の質問]
回答は「結論/根拠となる規程の文/追加確認」の順にする。
人数上限や予約の前提を省かない。
規程に書かれていない事項は「記載なし」とする。
判断に必要な予約日時などが不明なら、可否を断定せず質問する。
外部の一般常識で規程を補わない。
規程そのものを毎回書き換えるのではなく、入力欄へ渡します。規程を更新したら、新旧の規程を混ぜず、どの版で採点したかも記録してください。
境界値・記載なし・条件不足を5問で点検する
以下は評価の作り方を理解するための公開済み教材です。すでに改善用の入力へ含めた場合、この5問を独立した採点データとは呼べません。実際の運用では、別の質問を用意してください。
| 質問 | 判定で必須とする内容 |
|---|---|
| Aを6人で使えるか | 人数条件は満たす。規程にない予約条件を足さない |
| Aを7人で使えるか | 上限6人を超えるため利用不可 |
| Bを12人で、前営業日に予約した場合は | 人数・予約条件の両方を満たす |
| Bを12人で使いたい。予約日時は不明 | 人数は範囲内だが予約条件を満たすか未確認。予約日時を尋ねる |
| 休日に利用できるか | 規程に記載なし。利用可能・不可能のどちらも断定しない |
文章が違っていても、必須条件を満たしていれば正答として扱えます。逆に、丁寧で読みやすくても条件を落とした回答は不合格です。最初は人が規程と照合し、AIの自己採点は見落とし候補を探す補助にとどめます。
改善したかを記録する
比較するときは、モデル、利用日、規程、質問、設定できる生成条件を揃えます。元の指示と修正後の指示で新しい会話を使い、回答と判定理由を保存します。同じ質問でも回答が変わるため、一回の成功だけで安定したと結論づけないでください。
記録欄は「質問番号/指示の版/回答全文/合否/落ちた条件/確認と修正にかかった時間」で十分です。例えば架空の集計で5問中3問から4問に増えた場合、正答率は60%から80%で、差は20ポイントです。ただし、この小さな教材だけから業務全体の精度や費用削減率は推定できません。
私は、正答が一つ増えても、以前できていた「記載なし」の扱いが崩れるなら、その指示をそのまま採用しません。改善した箇所だけでなく、変わってはいけない条件も同時に採点する方が、長い指示を作り続けるより判断しやすくなります。
まだ元になる指示がない場合は、不足条件を質問させるプロンプト作成手順から始めてください。保存した指示は、規程やモデルを変えた際に同じ評価で見直します。
