05. AIをどこで止めるか

回答できそうかではなく、回答してよいか

生成AIは、根拠が不足していても自然な回答を組み立てられます。顧客向けQAでは、その能力を回答条件にしてはいけません。

回答の可否は、生成AI自身の自信ではなく、システム側で確認できる条件から決めます。条件を満たさない場合は、回答文を工夫して続行するのではなく停止します。

このケースでは、少なくとも次の場合を人間への移行条件として扱います。

停止条件はPromptへ「不明なら回答しない」と書くだけでは実装できません。対話、検索、生成、実行の各段階で、システムが確認できる状態として保持します。

段階	確認する状態	停止時に残す理由
対話	機種・版・症状を回答可能な粒度まで特定できたか	`target_unresolved`、未確認項目
Retrieval	公開可能で有効な根拠を取得できたか	`evidence_missing`、検索条件
Evidence	根拠間の対象・版・手順が矛盾していないか	`evidence_conflict`、競合文書
判断	専門判断や高影響操作を含まないか	`human_judgment_required`、影響範囲
Generation	回答の各主張を根拠へ対応付けられるか	`unsupported_claim`、未対応箇所

理由コードは顧客へ機械的に露出するためではありません。有人引継ぎ、失敗分類、再評価で同じ停止を追跡するために使います。顧客には「情報が不足している」「専門担当者の判断が必要」など、次の行動が分かる表現へ変換します。

回答を止め、人へ移す条件

＋の付いた項目を選ぶと、詳しい説明が下に表示されます。

気になる項目を選ぶと、その役割や判断理由を確認できます。

開始。次の工程：問い合わせ受付：Collecting。

Collecting。次の工程：必要情報がそろう：Retrieving／情報を特定できない：Human。

Retrieving。次の工程：適合する公開可能な根拠：Answering／根拠不足 / 矛盾 / 非公開：Human。

Human。次の工程：終了。

Answering。次の工程：低リスクで回答可能：Completed／専門判断 / 高影響：Human。

Completed。次の工程：終了。

終了。この工程の位置と前後のつながりを確認します。

Human in the Loopは、AIの回答を毎回人が承認することだけを意味しません。低リスクで条件を満たす問い合わせは自己解決へ進め、境界を越えるものだけを人間へ戻す設計もHITLです。

重要なのは、人間へ戻すことが例外処理として後付けされていないことです。停止条件、引継ぐ情報、人間が判断を再開する位置を、通常のWorkflowとして定義します。

停止は失敗ではありません。誤った回答を避け、専門性を必要な場所へ集中させるための正常な結果です。詳しい状態設計は、責任境界と状態遷移を参照してください。

検索スコアやモデルの自己評価は、順位付けや調査支援には使えます。

しかし閾値を一つ置くだけでは、別機種の高類似文書や、流暢だが根拠のない回答を止められません。このケースでは、機種・版・公開可否・影響度のような決定的な条件を先に適用し、その条件を通過した候補にだけスコアを使います。

人間はAIの低スコアを承認する役ではなく、システムが越えてはならない境界の先で、専門判断を引き受けます。次章では、この停止を顧客にとって行き止まりにしないUXへ変換します。