Few-shotプロンプティングは、依頼の中に少数の入力例と望む出力例を含め、判断の基準や形式を伝える方法です。例を加えることと、モデル自体を追加学習することは別です。
以下は私が作った架空の問い合わせ例です。
目次
まず、例が必要な理由を決める
「配送・請求・その他に分類する」という指示だけで十分なら、例を増やす必要はありません。区別が曖昧な内容や、返す形式が揃わないときに例を追加します。OpenAIの推論モデル向け案内でも、まず例なしで試す方法が示されています。
問い合わせ分類の依頼例
問い合わせを「配送」「請求」「その他」「確認必要」に分類する。
出力はラベル一つだけ。
配送と請求の両方を含む場合は「確認必要」。
例1
入力:荷物はいつ届きますか。
出力:配送
例2
入力:請求書の宛名を変更したいです。
出力:請求
例3
入力:パスワードを忘れました。
出力:その他
例4
入力:商品が届かず、カードの明細も二重です。
出力:確認必要
分類する入力:
[新しい問い合わせを貼る]
この例では、典型的な配送と請求に加えて、分類不能ではなく「二つの要件が重なる」ケースを用意しています。実際の運用で担当者へ回す必要がある状況を、ラベルの設計に含めた形です。
例に使っていない入力で確認する
| テスト用の入力 | このルールでの期待値 |
|---|---|
| 配達予定を知りたい。 | 配送 |
| 領収書を再発行したい。 | 請求 |
| 配送先と請求先の両方を直したい。 | 確認必要 |
| 説明の意味が分かりません。 | その他 |
期待値は上記の分類規則から人が設定したものです。あなたの業務で領収書を別の担当が扱うなら、分類規則そのものを変更します。例とテストの正解が矛盾したまま、モデルだけを調整しないでください。
うまくいかないときの見直し順
- 各ラベルの定義が重なっていないか確認する。
- 指示と例の答えが一致しているか確認する。
- 間違えた種類に近い例を加える。似た成功例ばかり増やさない。
- 例に入れた入力を評価用から外し、別の問い合わせでも試す。
- 不明・複合のケースを人へ回す条件を決める。
入力が長くなるほど、例の確認や維持にも時間がかかります。使ったモデル、依頼文、分類の誤りを記録して、例なしの場合と比較します。記録欄は回答精度の評価手順を利用できます。
更新内容:抽象的な紹介を改め、分類ルール・コピーできる例・別のテスト入力を追加しました。
