ハルシネーション対策は、AIへの指示と、人が根拠を確かめる工程を組み合わせます。「嘘をつかないで」「出典を付けて」と書くだけで、誤りがなくなるわけではありません。
OpenAIの研究紹介では、もっともらしい誤答と、不確実な場合に回答を控えることを区別しています。以下は、業務文書を確かめるために私が組み立てた手順です。
目次
確認するものを3種類に分ける
| 種類 | 確認例 |
|---|---|
| 存在 | 挙げられたURL、製品、論文が実在するか。 |
| 一致 | 参照先に、回答で主張した金額や機能が書かれているか。 |
| 適用範囲 | 対象国、プラン、時点、利用条件が一致するか。 |
公式サイトへのリンクがあっても、リンク先が一般的なトップページだけなら、個別の料金や機能を裏付けたことにはなりません。数字を支える箇所まで辿って確認します。
資料から情報を抜き出す依頼例
以下の資料だけを使って、導入条件を整理してください。
出力は「主張/根拠の箇所/対象・時点/不明点」の表。
資料にない条件は不明と書き、別の地域やプランから補わない。
推奨や推測を書く場合は、確認できた事実と分ける。
資料:
[確認済みの公開資料をここに貼る]
これは依頼文の例です。表の形で返ってきても、内容が正しいとは限りません。特に「不明点」の欄が空だから十分な調査が済んだとは判断しないでください。
よくある誤りを、確認作業に置き換える
- 税抜・税込が混ざる:請求条件と通貨の表示を読む。
- 月払いと年払いが混ざる:支払い周期と一括請求額を分ける。
- 米国の機能を日本でも使えるとする:日本向けの案内と対象アカウントを確認する。
- 利用上限を固定の回数で説明する:契約・モデル・処理内容による条件を読む。
- 本文と出典で結論が違う:該当する原文を確認し、裏付けられない主張を採用しない。
計算は、入力と式を別に確認する
説明用に、単価2円の処理を300回実行する場合を考えます。式が2×300=600円と合っていても、単価が別プランのものなら結論は使えません。「数字の出所」「単位」「計算式」の3つを分けて確認します。
元の数字が分からないときは、推測の金額を結果として掲載せず、必要な入力を不足項目として残します。
公開・送信の前に止める条件
出典が開けない、本文と数値が一致しない、対象の国や時点が不明、という場合は、その主張を保留にします。別のAIも同じ答えを返したことだけでは、独立した裏付けにはなりません。
日々の比較には正答・誤答・不明を分ける評価記録を使えます。
