第4章　AIに任せない条件を、先に決める

第4章　説明できない仕事を、AIに任せてはいけない

前章では、

AIに聞くことと、AIに仕事を任せることは違う

という話を書きました。

AIに仕事を任せるには、一般知識だけでなく、その会社や業務に固有の情報をAIが利用できなければなりません。

さらに、必要な情報が不足している場合には、推測で処理を続けず、人間へ戻す仕組みも必要です。

しかし、必要な情報をAIへ与えれば、それだけで仕事を任せられるのでしょうか。

私は、もう一つ確認しなければならないことがあると思っています。

AIの回答が誤っていたとき、人間がその回答を採用した理由を説明できるか。

説明できない仕事に、AIの出力をそのまま使うべきではありません。

「AIが回答したから」では説明にならない

例えば、顧客から製品の設定方法について問い合わせを受けたとします。

AIはマニュアルや過去の回答を参照し、自然な文章で操作手順を回答しました。

しかし、その手順が誤っており、顧客の業務へ影響を与えてしまいました。

このとき、担当者が、

AIがそのように回答したため、そのまま案内しました。

と説明しても、責任を果たしたことにはなりません。

なぜ、そのマニュアルを根拠としてよいと判断したのか。

なぜ、その手順を顧客の環境へ適用できると判断したのか。

どの部分を人間が確認したのか。

これらを説明できなければ、業務として回答を採用した理由が存在しないからです。

AIは文章を生成できます。

しかし、その文章を業務で使用すると決めるのは、AIではなく人間です。

AIが出力したことと、その出力を人間が採用したことは、別の判断です。

AIが文章を生成した内部の理由は説明できない

ここでいう説明とは、AI内部の計算を人間がすべて説明することではありません。

生成AIは、与えられた文章や情報を基に、続く言葉として可能性の高いものを選びながら回答を作ります。

しかし、なぜ特定の言葉を選び、その文章になったのかを、人間の判断過程と同じ形で説明できるわけではありません。

AI自身へ理由を聞けば、もっともらしい説明を返すことがあります。

ただし、その説明が実際の生成過程を正確に表しているとは限りません。回答を作った後から、理由らしい文章を生成している可能性もあります。

そのため、AIに仕事を任せるうえで必要なのは、AIの内部を完全に説明することではありません。

人間が、次のことを説明できる状態を作ることです。

AIが何の情報を参照したか
どの業務ルールに従って処理したか
なぜ、その回答を採用できると判断したか
どの部分を人間が確認したか
誤っていた場合に、誰がどのように対応するか

つまり、説明する対象は、AIの思考ではなく、人間がAIの出力を業務で使った判断です。

責任には、説明と対応の二つがある

採用理由を説明できることと、誤りを訂正して影響へ対応できることの両方が必要です。工程ごとの承認・是正責任はAI出力の責任境界とHITLで扱っています。

仕事によって、必要な説明の深さは異なる

すべてのAI利用に、同じ深さの説明が必要なわけではありません。

例えば、社内メールの表現案をAIに作ってもらい、人間が内容を確認して書き直す場合を考えます。

仮に最初の案が不適切でも、送信前に修正できます。人間が最終的な文章を読み、その内容に責任を持つこともできます。

この場合、AIがなぜ一つひとつの表現を選んだのかまで説明する必要はありません。

一方、顧客へ製品の操作方法を自動回答する場合は異なります。

誤った回答によって、設定が変わったり、業務が止まったりする可能性があります。

そのため、少なくとも、

どのマニュアルを参照したか
対象となる製品やバージョンが一致しているか
回答の根拠となる記述が存在するか
自動回答してよい問い合わせか

を確認できなければなりません。

さらに、契約、採用、人事評価、金銭、設備の停止など、結果の影響が大きい仕事では、より慎重な判断が必要になります。

間違えたときの影響が大きいほど、人間が説明すべき範囲も広くなる。

AIを使えるかどうかは、モデルの性能だけでは決まりません。

仕事の影響と、人間が説明できる範囲の組合せで決まります。

人間が確認しても、説明できるとは限らない

承認ボタンを押せることと、根拠や業務への影響を判断できることは別です。確認者に必要な知識・情報・時間・権限をどう残すかは第5章　AI時代、人間には「判断する力」が求められるで考えます。

説明できない場合は、AIの役割を小さくする

人間が説明できない仕事だからといって、AIをまったく使えないとは限りません。

AIの役割を、最終的な回答や判断から、候補の提示や情報整理へ戻すことができます。

例えば、既存システムの影響調査で、AIが「影響なし」と最終判断することが難しい場合でも、次の作業には利用できます。

関連しそうなソースコードを探す
呼出し関係を整理する
参照した資料を一覧にする
確認が必要な箇所を候補として挙げる
担当者へ確認するための質問を作る

この場合、AIは判断を代行しているのではありません。

人間が判断するための材料を集めています。

説明できる
↓
回答・判断へ利用する

説明できない
↓
候補提示・検索・整理までに役割を戻す

AIを使うか、使わないかの二択で考える必要はありません。

人間が責任を持てる範囲まで、AIの役割を小さくすればよいのです。

AIに任せない条件を先に決める

AIを導入するときは、何を自動化できるかに注目しがちです。

しかし、本番業務へ組み込むなら、何を任せないかも先に決める必要があります。

例えば、次の場合には、AIだけで回答や判断を完了させません。

回答の根拠を確認できない
参照した情報が古い、又は矛盾している
複数の可能性があり、判断を一つに絞れない
顧客や製品に固有の情報が不足している
誤った場合の影響を判断できない
人間が採用理由を説明できない
訂正や影響対応を行う担当者が決まっていない

これらの条件に該当した場合、AIは推測で処理を続けるのではなく、追加情報を求める、人間へ確認を依頼する、又は処理を中止します。

停止することは、AIの失敗ではありません。

説明できない判断を業務へ流さないために、あらかじめ設計された動作です。

説明できても、検証負荷が大きければ範囲を見直す

説明可能性だけで委任を決めません。人間が確認できる負担も条件に含めた範囲の選び方はAI適用可否と委任レベルの設計で扱っています。

説明できる仕事だけを任せる

根拠を確認し、採用理由を説明し、誤りへ対応できない場合は、AIの役割を候補提示・検索・整理へ戻します。停止や移管を正常な動作として設計することで、責任を持てる境界の内側で使い続けられます。

次の第5章　AI時代、人間には「判断する力」が求められるでは、その判断を担う人間の能力と教育を考えます。