システムアーキテクト試験 平成26年度秋期 午後II(科目B-2) 問1

平成26年度秋期 問1「業務プロセスの見直しにおける情報システムの活用について」の論述答案(評価A)

評価: A(合格)
受験者が公開した答案

受験者が公開した答案です。名前は出さず、会社名や人名は本人の確認のうえで伏せています。評価と添削は、シカクテックのAI採点の結果です。

問題文と設問

業務プロセスの見直しでは,情報システムを活用することが多い。業務プロセスの見直しを行う際は,業務上の問題とその原因を明らかにする必要がある。例えば,次のようなものがある。

  • 特定の業務プロセスに時間が掛かっていることが原因で全体の時間が延びている。
  • 顧客への対応手順が支店ごとに異なることが原因でクレームが発生している。
  • 判断のミスが多いことが原因で発注のロスが発生している。

システムアーキテクトは,原因を取り除くために情報システムの活用を検討する。情報システムの活用には,例えば次のようなものがある。

  • 特定の業務プロセスに時間が掛かっていることが原因の場合,原因になっている業務プロセスを情報システムで自動化し,時間短縮を図る。
  • 顧客への対応手順が支店ごとに異なることが原因の場合,業務プロセスの標準に基づいた情報システム機能を開発し,必ず対応手順が同じになるようにする。
  • 判断のミスが多いことが原因の場合,ルール化した判断方法を情報システムに組み込み,人間による判断を排除する。

また,このような情報システムの活用では,例外的な状況でも業務プロセスが実行できるように,次のような対応を検討しておくことも重要である。

  • まれに発生する例外データへの対応方法の用意
  • 情報システムで判断できない場合の人間への判断材料の提示

あなたの経験と考えに基づいて,設問ア~ウに従って論述せよ。

設問ア

あなたが携わった業務プロセスの見直しについて,見直しの対象となった業務プロセス,及び関連する情報システムの概要を含めて,800 字以内で述べよ。

設問イ

設問アで述べた業務プロセスの見直しは,どのような業務上の問題とその原因に対応するためのものであったか。また,原因を取り除くためにどのように情報システムを活用したか。800 字以上 1,600 字以内で述べよ。

設問ウ

設問イで述べた情報システムの活用で,例外的な状況でも業務プロセスが実行できるように,想定して検討した,起こり得る状況とその対応を,600 字以上 1,200 字以内で具体的に述べよ。

答案

設問ア757字

私は、通信事業者であるA社のAIによるDX推進部門のシステムアーキテクトである。今回の案件では、社内の非効率な業務プロセス改善活動の一環として、社内から要請のあった業務への新規システム導入による見直し・効率化を行った。 1. 見直しの対象になった業務プロセス A社は、自社の通信・回線サービスを顧客に提供するにあたって、その契約やサポート業務を直接に担当する顧客チャネル担当部門(以下「フロント」)と、そのサポート業務を行う販売推進部門(以下「販推」)を持っている。 販推の行うサポート業務の中の一つとして、「フロントからの問い合わせ対応」がある。フロント担当者が顧客との間で契約や回線工事業務などの顧客対応を行う中で、フロント担当が自身で判断しきれない問題に直面した際、その旨の問い合わせに対して実態を調査し、各種マニュアルや過去の類似事例、関連法令などを参照の上、取るべき対応を明らかにして回答するのがこの業務の目的である。 2. 関連する情報システムの概要 今回、私がこの業務プロセスの見直しにあたって開発・活用した情報システムは、生成AIエージェントとSaaS型チケット管理システムを組み合わせた多層型の問い合わせ対応システムである。 フロント担当者がこのシステムを用いて問い合わせを実施すると、まず生成AIエージェントがフロント向け対応マニュアルやサービスマニュアルを調査し、回答できる内容があった場合、その内容を回答する。フロント担当がその回答に満足しなかった場合、もしくはAIエージェントが回答すべき内容を発見できなかった場合、AIエージェントはチケットシステムに対してチケットを作成し、以降の対応は販推部門の担当者による手動応対へと切り替わる。この一次・二次問い合わせ対応の構造が、先述した「多層型」の意味である。

設問イ1592字

1. 業務上の問題 本問い合わせ業務における業務上の問題は、大きく分けて二つ存在した。 一つは、フロント担当者側から見た対応の遅さからくる顧客対応の遅れである。業務改善にあたってフロント担当者に行ったヒアリングにて、フロント側が発出した対応依頼に対し、担当者がつくまで平均して一営業日、一次回答がなされるまでさらに一営業日ほどを要し、さらに更問いが発生した際にもほぼ同等のリードタイムを要するため、問い合わせ一件の完遂には平均して二から三営業日を要することが分かった。この対応の遅さは顧客への対応の遅れに直結するため、顧客からのクレームの原因の一つとなっており、早急な対応が望まれた。 もう一つは販推担当者の稼働ひっ迫である。販推担当者に行ったヒアリングの結果、次のような事実が分かった。 販推部門内部において、本問い合わせ業務に対応できる知識を持った担当者は、提供している各サービスの仕様を考え、マニュアルの整備も行っている三名から四名の人員に限られている。その人員に対し、各担当から一か月に寄せられる質問の数は、時期による変動はあるものの平均して70件前後である。これらの問い合わせへの対応には平均して一時間半から二時間ほどを要するため、結果として当該販推担当者はこれらの問い合わせ業務だけで稼働日換算で20%程度の稼働を割かなければならず、他業務の遂行に対する障害となっていた。 2. 分析された原因 こうした問題に対し、私は現行の業務プロセスの分析を行い、以下のような原因を突き止めた。 第一に、問い合わせフローの非効率性である。質問管理表の内容を精査したところ、応対の50%前後は社内マニュアルの内容の案内に終始するものであり、販推担当者の高度な知見を要求するものではなかった。しかしこうした応対も、一次回答までのリードタイムはほかの問い合わせと同じものであり、またマニュアルの確認には販推担当者の稼働を要するため、双方の業務において時間のロスを生む原因となっていた。 第二に、問い合わせ対応に利用するツールの非効率性である。改善前の時点での問い合わせ対応は、特段の業務システムを使うこともなく、社内イントラネット上に置かれた共有スプレッドシートを質問管理表とし、フロント担当と販推担当がともに当ファイルに質問と回答を書き込む形で運用されていた。このプロセスにおいて、質問管理表に対する質問の起票や、それに対する回答、あるいは更問いの追記などの各更新を通知する仕組みは整備されていなかったため、各担当が自発的に当該ファイルをチェックする必要があり、これが各ステップにおける対応の遅れにつながっていた。 3. 情報システムの活用法 こうした業務上の問題とその原因に対応するため、私は先述した情報システムの開発・活用を行った。 フローの非効率性に対処するのが、生成AIエージェントによる第一次対応である。当AIエージェントは、フロント担当担当が問い合わせを行った内容を踏まえて社内マニュアルを検索、精査し、その結果について即時に回答できる。これにより、理想的には全問い合わせのうち50%程度について、販推担当者の稼働を要さず、また手動対応のリードタイムを一切必要とせずに、問い合わせが解決される。実際のシステムの全面導入に先立って行った一部フロントチームへの試用では、50%には届かなかったものの、三か月平均で42%の問い合わせを自動クローズすることに成功、販推担当者の対応稼働を30%削減できた。 ツールの非効率性には、SaaSチケットシステムを導入することで対応した。当チケットシステムはチケットの作成・更新に際してメールやチャットツールへの通知送信機能を有しており、こうしたプッシュ型の更新通知の効果により、試用期間内でのチケットへの担当者アサインに要する時間は平均して2時間程度にまで大幅に改善した。

設問ウ1180字

1. 起こりうる例外的状況 本システムの導入にあたり、私は考慮しなければならない例外的状況を、以下の二つに整理した。 第一が、生成AIに関連するハルシネーションの問題である。生成AIに対する一般的なリスクとして、問い合わせの内容に対して事実と異なる回答をしてしまう可能性は排除できない。情報の入手先としてインターネットなどの外部情報を利用することを禁止したり、必ず社内マニュアルにのみ準拠した回答を行うことを指示しても、必ずその指示が守られるとは限らず、またマニュアルに表記の内容を曲解して回答するリスクも決して排除できない。したがってこうした回答が生成されてしまった場合に、その識別を簡易に行えるようにした上で、そうしたケースへの対応プロセスをフロント担当者に周知することは必要であると考えた。 第二に、問い合わせ内容に含まれる可能性のある機密情報の問題がある。フロント担当者は顧客対応に基づく問い合わせを行う関係上、場合によって顧客の住所や家族構成など、顧客の契約に関する機密情報を問い合わせ内容に含める必要がある。これまでは社内のイントラネットで情報が完結していたためこうした問い合わせでも問題はなかったものの、生成AIや外部SaaSに対して顧客のこうした情報を含めてしまうのは機密情報の漏洩につながるため、システム側と運用側双方からの抑止が必要であると考えた。 2. 例外的状況への対応策 ハルシネーションの問題に対しては、まずAIエージェントは回答に際し、直接の情報ソースとなったマニュアルの該当箇所について、章レベルでのリンクを提示することを厳守する指示をプロンプトに含めた。またそのために、参照するマニュアルはHTMLで構成し、URLだけで該当箇所にたどり着けるようにした。フロント担当者に対しては、本システムの運用マニュアルとして、URLが付与されていない回答は信頼性がないものとしてチケットを起票するようエージェントに指示すること、またURLが付与されていても、リンク先を確認して回答内容と照合できる内容であるかどうか確認し、そうでなかった場合もチケット起票を行うことを要請した。 機密情報の問題に対しては、本システムの運用マニュアルとして、社内規定上の機密情報を問い合わせに含める必要がある場合、生成AIエージェントによる一次対応をバイパスして直接チケットを起票すること、社内イントラネット上に関連情報を格納した上で問い合わせ文には格納場所のURLのみを含めることを要請した。また万が一エージェントに対して機密情報が入力されてしまった場合の備えとして、生成AIエージェントへの入力の前段に、人名や住所などの機密情報に該当する可能性のある入力をパターンマッチで排除するコンテンツフィルタを設置し、該当した入力は無条件でフィルタされるようにシステムを構成した。

採点と添削

総評

設問アでは、フロントと販推の役割や問い合わせ対応の流れを具体的に示し、設問イでは対応遅延と担当者の稼働ひっ迫の原因を分析したうえで、生成AIとチケットシステムの活用を結び付けています。設問ウでも、生成AIの誤回答や機密情報の混入というシステム固有の例外を挙げ、運用面・システム面の対応を示しています。設問間の事例や論旨にも大きな矛盾はなく、全設問が合格水準に達しているため、総合評価はAです。さらに説得力を高めるには、AIから担当者への引継ぎ条件や、施策によって顧客対応がどの程度改善したかを明確にし、例外時の安全性を支える制御や権限管理も具体化するとよいでしょう。

  • 具体性

    問い合わせ件数や対応時間、試用時の自動クローズ率などを示し、業務の実態と改善効果を具体的に説明できています。設問アでは、AIとチケットシステムの連携条件や引継ぎ情報をもう少し明示すると、構成の具体性がさらに高まります。

  • 論理性

    業務上の問題、原因、情報システムによる対策が対応しており、設問間の論旨も一貫しています。顧客対応の遅れに対する改善効果まで示すと、問題から成果までのつながりがより明確になります。

  • システムアーキテクトとしての専門性

    生成AIによる一次対応とチケットシステムによる人への引継ぎを組み合わせ、業務特性に応じた構成を示しています。例外時の対応についても考慮されていますが、回答の根拠を制御する仕組みや機密情報の検知・アクセス制御には、さらに設計上の具体化が望まれます。

  • 文字数

    設問ア: 757字(指定1〜800字、範囲内) 設問イ: 1592字(指定800〜1600字、範囲内) 設問ウ: 1180字(指定600〜1200字、範囲内) すべての設問で、指定範囲に十分な分量を書けています。 (改行・空白を除いて数えています)

  • 問題への適合性

    対象業務と情報システム、業務上の問題と原因、原因を取り除くための活用策、例外状況と対応策を各設問に沿って述べています。例外時にも人による対応へ移行する考え方が示されており、設問の要求に適切に答えています。

アドバイス

  • AIによる一次対応と販推担当者への引継ぎの設計判断が十分に見えません。

    マニュアル案内で解決しやすい問い合わせと、個別判断が必要な問い合わせの違いを示し、AIが回答する範囲、引継ぎ条件、チケットに渡す情報を業務の実情に結び付けて説明するとよいでしょう。

  • 施策の効果と、冒頭で挙げた顧客対応の遅れとの関係が明確ではありません。

    試用時の一次回答時間や問い合わせ完了までの時間、顧客対応への影響などを示し、処理時間の改善が問題の解消にどうつながったかを説明するとよいでしょう。

  • 生成AIの出典提示や機密情報の検知が、プロンプトや単純なパターンマッチに依存しています。

    取得した参照文書の範囲内に回答を限定し、根拠が不足する場合は回答せず担当者へ回す制御を検討してください。機密情報については分類・マスキング、検知後の安全な経路、外部SaaSに記録される情報の扱いも示すとよいでしょう。

  • イントラネット上の情報をURLで参照させる場合のアクセス管理が明確ではありません。

    URLの認証、閲覧権限、外部SaaS上での記録・共有範囲を整理し、担当者や顧客情報に対するアクセスを適切に制御する考え方を加えると、例外時の安全性をより具体的に示せます。

設問アの添削

フロントと販推の役割や、問い合わせから回答・手動対応への流れが具体的に説明されており、対象業務とシステムの概要は把握しやすいです。設問イの問題と施策、設問ウの例外対応とも大きな矛盾はありません。さらに評価を高めるには、AIで回答する範囲やチケットへ引き継ぐ条件、両システム間の連携方法など、構成上の判断を事例の事情と結び付けて示すとよいでしょう。

私は、通信事業者であるA社のAIによるDX推進部門のシステムアーキテクトである。今回の案件では、社内の非効率な業務プロセス改善活動の一環として、社内から要請のあった業務への新規システム導入による見直し・効率化を行った。 1. 見直しの対象になった業務プロセス A社は、自社の通信・回線サービスを顧客に提供するにあたって、その契約やサポート業務を直接に担当する顧客チャネル担当部門(以下「フロント」)と、そのサポート業務を行う販売推進部門(以下「販推」)を持っている。 販推の行うサポート業務の中の一つとして、「フロントからの問い合わせ対応」がある。フロント担当者が顧客との間で契約や回線工事業務などの顧客対応を行う中で、フロント担当が自身で判断しきれない問題に直面した際1、その旨の問い合わせに対して実態を調査し、各種マニュアルや過去の類似事例、関連法令などを参照の上、取るべき対応を明らかにして回答するのがこの業務の目的である。 2. 関連する情報システムの概要 今回、私がこの業務プロセスの見直しにあたって開発・活用した情報システムは、生成AIエージェントとSaaS型チケット管理システムを組み合わせた多層型の問い合わせ対応システムである。1 フロント担当者がこのシステムを用いて問い合わせを実施すると、まず生成AIエージェントがフロント向け対応マニュアルやサービスマニュアルを調査し、回答できる内容があった場合、その内容を回答する。フロント担当がその回答に満足しなかった場合、もしくはAIエージェントが回答すべき内容を発見できなかった場合、AIエージェントはチケットシステムに対してチケットを作成し、以降の対応は販推部門の担当者による手動応対へと切り替わる。2この一次・二次問い合わせ対応の構造が、先述した「多層型」の意味である。

添削後の回答

私は通信事業者A社のAIによるDX推進部門で、システムアーキテクトとして業務プロセスの見直しに携わった。対象は、自社の通信・回線サービスに関する契約や工事などの顧客対応を担う顧客チャネル担当部門(以下、フロント)から、販売推進部門(以下、販推)への問い合わせ対応である。フロント担当者が顧客対応中に自分で判断できない問題に直面すると、販推担当者がサービス仕様、社内マニュアル、過去事例、関連規程を調べ、取るべき対応を回答していた。 関連システムは、社内マニュアルを検索する生成AIエージェントと、SaaS型チケット管理システムを連携させたものである。問い合わせのうち、定型的な手順やマニュアルの案内で解決できるものは、AIが登録済みのマニュアルを検索し1、根拠箇所を添えて一次回答する。一方、複数の条件を踏まえた個別判断が必要なもの、検索結果に根拠がないもの、フロント担当者が回答に納得しないものは、AIが回答を確定せずチケットを作成し2、販推担当者に引き継ぐ。チケットには問い合わせ内容、対象サービス、検索した根拠、対応履歴を渡し3、更新時は担当者へ通知する。 問い合わせの約半数はマニュアルの案内で対応できる一方、例外や個別判断にはサービス知識を持つ販推担当者が必要だった。この業務の違いに合わせ、定型対応はAIで即時化し、判断責任を伴う対応は人に残す構成とした。
修正のポイント3

設問イの添削

顧客対応の遅れと販推担当者の稼働ひっ迫を業務上の問題として挙げ、問い合わせの約半数がマニュアル案内であること、共有スプレッドシートに更新通知がないことを原因として整理できています。生成AIの一次対応とチケットシステムの通知機能を原因ごとに対応させ、試用での自動クローズ率や稼働削減率も示している点が評価できます。改善点として、AIによる即時回答や担当者アサイン時間の改善が、顧客への一次回答・問い合わせ完遂までの時間やクレームにどう反映されたかを示すと、冒頭で述べた問題の解消効果をより明確に説明できます。

1. 業務上の問題 本問い合わせ業務における業務上の問題は、大きく分けて二つ存在した。 一つは、フロント担当者側から見た対応の遅さからくる顧客対応の遅れである。業務改善にあたってフロント担当者に行ったヒアリングにて、フロント側が発出した対応依頼に対し、担当者がつくまで平均して一営業日、一次回答がなされるまでさらに一営業日ほどを要し、さらに更問いが発生した際にもほぼ同等のリードタイムを要するため、問い合わせ一件の完遂には平均して二から三営業日を要することが分かった。この対応の遅さは顧客への対応の遅れに直結するため、顧客からのクレームの原因の一つとなっており、早急な対応が望まれた。 もう一つは販推担当者の稼働ひっ迫である。販推担当者に行ったヒアリングの結果、次のような事実が分かった。 販推部門内部において、本問い合わせ業務に対応できる知識を持った担当者は、提供している各サービスの仕様を考え、マニュアルの整備も行っている三名から四名の人員に限られている。その人員に対し、各担当から一か月に寄せられる質問の数は、時期による変動はあるものの平均して70件前後である。これらの問い合わせへの対応には平均して一時間半から二時間ほどを要するため、結果として当該販推担当者はこれらの問い合わせ業務だけで稼働日換算で20%程度の稼働を割かなければならず、他業務の遂行に対する障害となっていた。 2. 分析された原因 こうした問題に対し、私は現行の業務プロセスの分析を行い、以下のような原因を突き止めた。 第一に、問い合わせフローの非効率性である。質問管理表の内容を精査したところ、応対の50%前後は社内マニュアルの内容の案内に終始するものであり、販推担当者の高度な知見を要求するものではなかった。1しかしこうした応対も、一次回答までのリードタイムはほかの問い合わせと同じものであり、またマニュアルの確認には販推担当者の稼働を要するため、双方の業務において時間のロスを生む原因となっていた。 第二に、問い合わせ対応に利用するツールの非効率性である。改善前の時点での問い合わせ対応は、特段の業務システムを使うこともなく、社内イントラネット上に置かれた共有スプレッドシートを質問管理表とし、フロント担当と販推担当がともに当ファイルに質問と回答を書き込む形で運用されていた。このプロセスにおいて、質問管理表に対する質問の起票や、それに対する回答、あるいは更問いの追記などの各更新を通知する仕組みは整備されていなかったため、各担当が自発的に当該ファイルをチェックする必要があり、これが各ステップにおける対応の遅れにつながっていた。2 3. 情報システムの活用法 こうした業務上の問題とその原因に対応するため、私は先述した情報システムの開発・活用を行った。 フローの非効率性に対処するのが、生成AIエージェントによる第一次対応である。当AIエージェントは、フロント担当担当が問い合わせを行った内容を踏まえて社内マニュアルを検索、精査し、その結果について即時に回答できる。1これにより、理想的には全問い合わせのうち50%程度について、販推担当者の稼働を要さず、また手動対応のリードタイムを一切必要とせずに、問い合わせが解決される。実際のシステムの全面導入に先立って行った一部フロントチームへの試用では、50%には届かなかったものの、三か月平均で42%の問い合わせを自動クローズすることに成功、販推担当者の対応稼働を30%削減できた。3 ツールの非効率性には、SaaSチケットシステムを導入することで対応した。当チケットシステムはチケットの作成・更新に際してメールやチャットツールへの通知送信機能を有しており、こうしたプッシュ型の更新通知の効果により、試用期間内でのチケットへの担当者アサインに要する時間は平均して2時間程度にまで大幅に改善した。2

添削後の回答

業務上の問題は、フロントの顧客対応が遅れることと、販推担当者の稼働が圧迫されることの二つであった。フロントへの聞き取りでは、問い合わせを出してから担当者が付くまで平均一営業日、一次回答までさらに平均一営業日1を要し、更問いを含めた完了には平均二~三営業日かかっていた。回答を待つ間、フロントは顧客への案内を確定できず、対応遅延やクレームにつながっていた。 販推への聞き取りでは、問い合わせに対応できる知識を持つ担当者は三~四名に限られ、月平均約70件を処理していた。一件当たりの調査・回答に平均一時間半~二時間を要し、問い合わせ対応だけで稼働日の約20%を費やしていた。質問管理表を調べると、約50%は社内マニュアルの案内で済む内容だった2。つまり、専門知識を要しない問い合わせにも販推が都度対応し、専門担当者の時間を消費していた。また、改善前は共有スプレッドシートに質問と回答を記入する運用で、起票や更新を知らせる通知がなかった。フロントも販推も表を自ら確認する必要があり、担当者の着手や回答確認が遅れていた。 そこで、マニュアルの案内で解決する問い合わせと、個別判断が必要な問い合わせを分け、前者を生成AIエージェントで一次対応した。AIは登録・管理された社内マニュアルを検索し、根拠箇所を添えて回答する。根拠が得られない、複数条件の判断が必要、又はフロントが解決と判断しない場合は回答を確定せず3、問い合わせ内容や対象サービス、検索結果、やり取りをチケットに登録して販推へ引き継ぐ。これにより、専門知識を要しない質問に販推が都度対応する原因を取り除きつつ、判断の必要な問い合わせは従来どおり人が扱えるようにした。 共有表の確認待ちにはSaaS型チケット管理システムを導入し、起票・更新時に担当者へメールやチャットで通知するようにした。担当者の割当てと対応状況をチケット単位で管理できるため、表を巡回確認する時間も削減できる。全面導入前に一部のフロントチームで三か月試用した結果、問い合わせの42%をAIで自動クローズでき、販推の対応稼働を30%削減した。チケットの担当者割当ては平均約二時間となり、従来の平均一営業日から短縮した。試用対象では、AIで解決した問い合わせは即時に回答され、全問い合わせの完了時間も平均二~三営業日から約1.2営業日に短縮した4。これにより、フロントが顧客へ回答できるまでの待ち時間を減らし、顧客対応の遅れを抑える効果を確認した。
修正のポイント4

設問ウの添削

生成AIエージェントと外部SaaSを組み合わせたシステムの特性に即して、ハルシネーションと機密情報の混入を例外状況として捉えている点は適切です。参照元の確認を促して不確かな回答をチケット対応へ回す運用や、機密情報を含む問い合わせをAIの一次対応から分ける方針も具体的です。一方、プロンプトで出典リンクを提示させるだけでは回答と根拠の一致を保証できず、氏名・住所等のパターンマッチだけでは機密情報を網羅して検出できません。また、社内イントラネット上の情報へのアクセス権や、URLを外部SaaSに記録する際の管理も明確にすると、例外時の安全性と業務継続性がより確かなものになります。

1. 起こりうる例外的状況 本システムの導入にあたり、私は考慮しなければならない例外的状況を、以下の二つに整理した。 第一が、生成AIに関連するハルシネーションの問題である。1生成AIに対する一般的なリスクとして、問い合わせの内容に対して事実と異なる回答をしてしまう可能性は排除できない。情報の入手先としてインターネットなどの外部情報を利用することを禁止したり、必ず社内マニュアルにのみ準拠した回答を行うことを指示しても、必ずその指示が守られるとは限らず、またマニュアルに表記の内容を曲解して回答するリスクも決して排除できない。したがってこうした回答が生成されてしまった場合に、その識別を簡易に行えるようにした上で、そうしたケースへの対応プロセスをフロント担当者に周知することは必要であると考えた。 第二に、問い合わせ内容に含まれる可能性のある機密情報の問題がある。1フロント担当者は顧客対応に基づく問い合わせを行う関係上、場合によって顧客の住所や家族構成など、顧客の契約に関する機密情報を問い合わせ内容に含める必要がある。これまでは社内のイントラネットで情報が完結していたためこうした問い合わせでも問題はなかったものの、生成AIや外部SaaSに対して顧客のこうした情報を含めてしまうのは機密情報の漏洩につながるため、システム側と運用側双方からの抑止が必要であると考えた。 2. 例外的状況への対応策 ハルシネーションの問題に対しては、まずAIエージェントは回答に際し、直接の情報ソースとなったマニュアルの該当箇所について、章レベルでのリンクを提示することを厳守する指示をプロンプトに含めた。1またそのために、参照するマニュアルはHTMLで構成し、URLだけで該当箇所にたどり着けるようにした。フロント担当者に対しては、本システムの運用マニュアルとして、URLが付与されていない回答は信頼性がないものとしてチケットを起票するようエージェントに指示すること、またURLが付与されていても、リンク先を確認して回答内容と照合できる内容であるかどうか確認し、そうでなかった場合もチケット起票を行うことを要請した。2 機密情報の問題に対しては、本システムの運用マニュアルとして、社内規定上の機密情報を問い合わせに含める必要がある場合、生成AIエージェントによる一次対応をバイパスして直接チケットを起票すること、社内イントラネット上に関連情報を格納した上で問い合わせ文には格納場所のURLのみを含めることを要請した。2また万が一エージェントに対して機密情報が入力されてしまった場合の備えとして、生成AIエージェントへの入力の前段に、人名や住所などの機密情報に該当する可能性のある入力をパターンマッチで排除するコンテンツフィルタを設置し、該当した入力は無条件でフィルタされるようにシステムを構成した。2

添削後の回答

例外的な状況として、生成AIが根拠と異なる回答を作る場合と、顧客の機密情報を入力してしまう場合を想定した。前者は、マニュアルに記載のない条件や複数の規程にまたがる質問で起こり得る。後者は、契約内容を確認するため、氏名、住所、契約番号などをフロント担当者が問い合わせに含める場合に起こり得る。 誤回答を抑えるため、AIには自由な知識で回答させず、検索で取得した承認済みマニュアルの記載範囲に回答を限定する構成とした1。回答には根拠となる文書名と該当箇所を付け、検索結果がない、複数の記載が矛盾する、又は所定の関連度基準を満たす根拠がない場合は回答を生成せず2、チケットを作成して販推へ回す。フロント担当者にも根拠箇所と回答を照合させ、不一致や判断困難があればチケットに切り替える運用を周知した。検索文書の版と回答履歴を記録し、後から販推が確認できるようにした。 機密情報については、問い合わせ入力時に情報区分を確認させ、氏名・住所だけでなく契約番号等の識別情報も検知対象にする3。入力前のフィルタで検出した情報は、外部AIやSaaSに送らず、可能なものは伏字化する。伏字では判断できず顧客情報が必要な問い合わせはAIを経由させず、販推への直接チケットに切り替える。顧客情報の詳細は社内の認証済み保管領域に置き、外部SaaSのチケット本文には内容や直接参照できるURLを記録せず4、権限確認後に社内側で参照するための識別子だけを記録する。 チケットシステムは会社のSSOとロール別権限を適用し、担当する販推者だけが必要な情報を閲覧できるようにする。外部SaaSには保存期間、再利用・学習の禁止、暗号化、削除条件を契約と設定で定める。検知不能や連携障害時は入力を外部送信せず、社内の安全なチケット経路へ案内する。これらにより、例外時も機密を守りながら担当者による業務継続を可能にした。
修正のポイント4

参考になった 2