Rosarium

AI設計原則 / 公開物 / principle

第5章 AI時代、人間には「判断する力」が求められる

AIが定型作業を担った後に残る難しい判断を、人間が根拠・影響・権限をもって行うための能力を整理する。Human in the Loopと教育をAI導入の一部として扱う。

公開:最終更新:

更新履歴

  1. 改訂

    AI出力を判断する人間の知識・情報・時間・権限と、運用から学び直す必要性を整理した

  2. 公開

システム設計 / 生成ai / aiエージェント / hitl / aiガバナンス

読む目的: AI導入・責任・評価 / 自然言語サービス・RAG・ナレッジ

このBookの目次(全5章)
  1. 全体構成
  2. 第1章 AIに仕事を任せても、責任は消えない
  3. 第2章 AI導入は効率化とは限らない
  4. 第3章 AIに聞くことと、AIに仕事を任せることは違う
  5. 第4章 AIに任せない条件を、先に決める
  6. 第5章 AI時代、人間には「判断する力」が求められる
目次
  1. AIが簡単な仕事を引き受けると、人間には難しい仕事が残る
  2. 「AIが出した答えを確認する」だけでは足りない
  3. 人間にも成長が必要になる
  4. 判断するためには、広い知識が必要になる
  5. AIが強くなるほど、人間の役割は上流へ移る
  6. AIを使うか判断する能力
  7. Human in the Loopには、判断できる人間が必要
  8. 人間の教育も、AI導入の一部になる
  9. 判断の経験を、運用から学び直す

現在位置:第5章・全5章

前章では、

説明できない仕事を、AIに任せてはいけない

という話を書きました。

AIの出力を業務で利用するのであれば、人間は、なぜその出力を採用したのかを説明できなければなりません。

そのため、AIの回答を人間が確認する Human in the Loop の仕組みが重要になります。

しかし、人間を処理の途中へ置くだけでは十分ではありません。

AIの回答を確認する人間自身が、その内容を理解し、根拠を確認し、影響を考え、採用するかどうかを判断できなければならないからです。

つまり、AIの能力が高くなるほど、

人間にも、より高い判断能力が求められる。

私は、AI時代には人間の仕事が単純になっていくのではなく、むしろ判断を問われる仕事へ変わっていくと考えています。


AIが簡単な仕事を引き受けると、人間には難しい仕事が残る

AIによる自動化というと、

人間の仕事が減る

というイメージを持つことがあります。

確かに、定型的な作業や情報整理の一部はAIへ任せられるようになります。

例えば、問い合わせ対応であれば、

  • マニュアルから関連情報を探す
  • 過去の問い合わせを検索する
  • 回答案を作成する
  • 必要な情報を整理する

といった作業は、AIが得意とする領域です。

しかし、AIがこうした仕事を処理するようになると、人間へ回ってくる仕事の性質が変わります。

AIが処理しやすい仕事
・定型的
・情報がそろっている
・判断基準が明確
・影響が小さい
        ↓
       AI


人間へ残る仕事
・例外的
・情報が不足している
・複数の判断があり得る
・影響が大きい
        ↓
      人間

つまり、人間が担当する件数は減っても、一件当たりの判断難度は高くなる可能性があります。

AIを導入すれば、人間が何も考えなくてよくなるわけではありません。

むしろ、

AIでは確定できない問題を、人間が判断する

という役割が増えていきます。


「AIが出した答えを確認する」だけでは足りない

例えば、AIが製品の設定方法について回答案を作成したとします。

確認者がその文章を読み、

文章として自然だから問題なさそうだ。

と判断しただけでは、十分な確認とは言えません。

本来確認しなければならないのは、

  • 対象となる製品は正しいか
  • バージョンは一致しているか
  • 参照したマニュアルは最新か
  • 根拠となる記述は存在するか
  • 顧客の環境へ適用して問題ないか
  • 他の設定やシステムへ影響しないか

といった点です。

これらを確認するには、業務やシステムについて一定の知識が必要です。

つまり、人間がAIを確認するためには、

AIより詳しい必要はなくても、AIの回答を評価できる能力は必要になる。

ということです。


人間にも成長が必要になる

AIが成長すれば、人間はそのままでよいのでしょうか。

私はそうは思いません。

AIが扱える仕事の範囲が広がるほど、人間には、

  • 問題を定義する
  • 必要な情報を見極める
  • AIの回答を評価する
  • 前提条件を確認する
  • 影響範囲を考える
  • 複数の選択肢を比較する
  • 最終的な判断を行う

といった能力が求められます。

これは、単純な作業を速く行う能力とは異なります。

従来

作業する能力
↓
成果


AI時代

AIが作業を支援
↓
人間が評価
↓
人間が判断
↓
成果

AIによって作業能力そのものの差は縮まるかもしれません。

一方で、

何を信じるか

何を採用するか

何を捨てるか

どこで止めるか

という判断の差は、むしろ大きくなる可能性があります。


判断するためには、広い知識が必要になる

判断能力は、単独で存在するものではありません。

システム設計を判断するには、ソフトウェアについて知る必要があります。

セキュリティ上のリスクを判断するには、セキュリティについて知る必要があります。

業務への影響を判断するには、業務を理解する必要があります。

AIの回答を評価するには、AIがどのような性質を持つ技術なのかも理解する必要があります。

だから私は、AI時代だからこそ、人間には広い基礎知識が必要になると考えています。

すべてを専門家と同じ深さで知る必要はありません。

しかし、

何を確認しなければならないか分かる程度には、理解している必要があります。

AIが答えを作ってくれるから、知識が不要になるのではありません。

AIが大量の答えを作れるからこそ、その中から正しいものを選ぶための知識が必要になります。


AIが強くなるほど、人間の役割は上流へ移る

AIは、文章生成、検索、要約、コード生成、データ整理など、これまで人間が行っていた作業を次々と支援できるようになっています。

すると、人間の役割は徐々に上流へ移ります。

例えばソフトウェア開発であれば、

コードを書く
↓
AIが支援


設計案を作る
↓
AIが支援


では何を作るのか
↓
人間が判断


そもそも作る必要があるのか
↓
人間が判断

AIが実装能力を高めるほど、

何を実装するべきか

という判断の重要性が高くなります。

さらに、

そのシステムを作るべきなのか。

既存システムを変更すべきなのか。

SaaSを利用すべきなのか。

AIを使うべきなのか。

何もしない方がよいのか。

といった判断も必要になります。

これは、単なる技術選定ではありません。

業務、コスト、リスク、既存資産、将来の変更、運用、廃止まで考えた設計判断です。


AIを使うか判断する能力

同じ入力に同じ結果を返す必要がある処理では、既存システムやルールベース処理が適している場合があります。人間には、作業を進めるだけでなく、何を作るべきか、既存資産を使うべきか、何もしない方がよいかを考える力が必要です。具体的な役割の選び方はAI適用可否と委任レベルの設計で扱っています。


Human in the Loopには、判断できる人間が必要

AIの処理へ人間を加えれば、安全になるわけではありません。

確認者が、

  • 根拠を確認できない
  • 業務を理解していない
  • 影響を判断できない
  • 差し戻す権限がない
  • 大量の回答を形式的に承認している

のであれば、その人間は実質的な判断主体ではありません。

必要なのは、

判断するための知識
+
判断するための情報
+
判断するための時間
+
差し戻す権限

です。

判断できる知識と、その判断を業務へ反映できる条件の両方が必要です。承認や差し戻しを処理へ組み込む方法はAI出力の責任境界とHITLで扱っています。


人間の教育も、AI導入の一部になる

AIシステムを導入するとき、AIモデルやシステムの性能ばかりに注目しがちです。

しかし、AIと一緒に仕事をする人間側の能力も設計しなければなりません。

例えば、

  • どのような誤りが起きる可能性があるか
  • 何を根拠として確認するか
  • どのケースを自分で判断してよいか
  • どのケースを専門家へ戻すか
  • どのケースでは処理を停止するか

を、人間側も理解する必要があります。

つまり、AI導入には、

AIの改善
+
システムの改善
+
人間の成長

が必要です。

AIだけが成長し、人間が同じ仕事の仕方を続けるという前提では、長期的な運用は難しくなります。


判断の経験を、運用から学び直す

判断力は、AIを操作するだけでは身につきません。業務や技術を学び、前提を確かめ、設計し、結果を確認し、なぜ採用・棄却したのかを説明する経験が必要です。

AIへ任せられる仕事が変われば、人間へ残る案件も変わります。定型作業が減っても、例外や情報不足の判断は難しくなる可能性があります。役割の変化に合わせて、教育と判断経験を更新します。

実際の誤りや差し戻しを学習へ戻し、モデルだけでなく人間と業務の改善を続けるには、AI導入を業務へ定着させるで扱う運用と再評価の仕組みが必要です。