Rosarium

実践事例 / 公開物 / case

第8章 復元したKnowledgeを、根拠を確認できるQAへつなぐ

質問に関係する根拠を探し、実務で確認できる回答へつなぐ仕組みを整えます。RAGの検索範囲・知識の粒度・画面操作との対応を調整し、AIの生成と人間の検証を分担します。

公開:最終更新:

更新履歴

  1. 公開

ai / 設計 / リファクタリング / レガシー / rag

読む目的: 自然言語サービス・RAG・ナレッジ / AI × ソフトウェア開発 / 事例・実務

このBookの目次(全12章)
  1. 全体構成
  2. 第1章 仕様を答えられない状態から、復元すべき情報を決める
  3. 第2章 対象システムの変更を妨げる構造と知識の不足を整理する
  4. 第3章 調査の起点を作るため、ファイルとクラスの役割を整理する
  5. 第4章 コードから仕様と依存関係を復元する
  6. 第5章 処理の流れを復元し、変更影響を追えるようにする
  7. 第6章 人が読む仕様とAIが使うKnowledgeを分ける
  8. 第7章 UI操作と内部処理を結び付け、操作結果を追えるようにする
  9. 第8章 復元したKnowledgeを、根拠を確認できるQAへつなぐ
  10. 第9章 正しさ・出典・回答拒否から、QAの利用可否を評価する
  11. 第10章 評価結果をKnowledgeと回答範囲の改善へ戻す
  12. 第11章 仕様変更に追従できるKnowledge更新フローを作る
  13. 第12章 QAで暗号処理を調査し、人間の変更判断へつなぐ
目次
  1. 資料を検索できるだけでは、問い合わせに使えない
  2. 対象外の知識で、不足を埋めさせない
  3. 操作や目的から、必要な根拠へつなぐ
  4. 参照できる過去の判断と、今回の決定を分ける

現在位置:第8章・全12章

資料を検索できるだけでは、問い合わせに使えない

RAGの初期状態では、必要な情報へ到達しない、不要な情報が混ざる、同じ質問への回答がぶれる、UI操作と結び付かないという問題があった。知識を蓄積するだけでは、利用者の問いと検索対象が合わなかった。

そこで、文書の分割単位をクラス単位から機能・意味単位へ見直し、1トピック1ファイルへ整理した。長い文書へ複数の意味を混在させず、必要な根拠を取り出しやすくした。

対象外の知識で、不足を埋めさせない

回答には対象システムのKnowledgeを使い、範囲外の内容は回答せず、不明なものは不明とする制約を置いた。外部知識や推測が混ざると、説明が自然でも現行システムの根拠にはならないからである。

AIはコードの説明生成、Markdownの要約、フローとの整合確認に利用した。生成した内容は人間が検証し、確認できない情報を確定した仕様として残さない分担とした。

操作や目的から、必要な根拠へつなぐ

文書へ「操作内容(UI)・実行処理(内部)・結果(出力)」の対応を追加した。

例えば、UIから印刷を実行し、印刷処理モジュールが呼び出され、印刷ジョブが生成される、という説明である。これは対応付けの例であり、内部名称を知らない利用者の問いを処理へつなぐために使う。

メールや手順のような文脈依存の情報は、「何をしたいときか」というQA形式へ整理し、原因と対処を組み合わせてFAQにした。操作や意図を起点に探せるようにすることで、コードから作った説明を実務上の問い合わせへ接続した。

参照できる過去の判断と、今回の決定を分ける

仕様、背景事情、判断軸、制約もAIへ渡せる情報として整理した。

ただし、過去の判断を検索できることは、今回も同じ方針を採ることを意味しない。その時点の利用状況や制約によって、変更の採否は変わる。

AIは判断材料を整理・提示し、人間が現在の状況を踏まえて最終決定する。条件を完全に事前定義して自動承認する構成にはしなかった。次章では、回答内容、根拠、不明時の挙動を確認し、QAを利用できる範囲を評価する。