答案
設問ア757字
私は、通信事業者であるA社のAIによるDX推進部門のシステムアーキテクトである。今回の案件では、社内の非効率な業務プロセス改善活動の一環として、社内から要請のあった業務への新規システム導入による見直し・効率化を行った。 1. 見直しの対象になった業務プロセス A社は、自社の通信・回線サービスを顧客に提供するにあたって、その契約やサポート業務を直接に担当する顧客チャネル担当部門(以下「フロント」)と、そのサポート業務を行う販売推進部門(以下「販推」)を持っている。 販推の行うサポート業務の中の一つとして、「フロントからの問い合わせ対応」がある。フロント担当者が顧客との間で契約や回線工事業務などの顧客対応を行う中で、フロント担当が自身で判断しきれない問題に直面した際、その旨の問い合わせに対して実態を調査し、各種マニュアルや過去の類似事例、関連法令などを参照の上、取るべき対応を明らかにして回答するのがこの業務の目的である。 2. 関連する情報システムの概要 今回、私がこの業務プロセスの見直しにあたって開発・活用した情報システムは、生成AIエージェントとSaaS型チケット管理システムを組み合わせた多層型の問い合わせ対応システムである。 フロント担当者がこのシステムを用いて問い合わせを実施すると、まず生成AIエージェントがフロント向け対応マニュアルやサービスマニュアルを調査し、回答できる内容があった場合、その内容を回答する。フロント担当がその回答に満足しなかった場合、もしくはAIエージェントが回答すべき内容を発見できなかった場合、AIエージェントはチケットシステムに対してチケットを作成し、以降の対応は販推部門の担当者による手動応対へと切り替わる。この一次・二次問い合わせ対応の構造が、先述した「多層型」の意味である。
設問イ1592字
1. 業務上の問題 本問い合わせ業務における業務上の問題は、大きく分けて二つ存在した。 一つは、フロント担当者側から見た対応の遅さからくる顧客対応の遅れである。業務改善にあたってフロント担当者に行ったヒアリングにて、フロント側が発出した対応依頼に対し、担当者がつくまで平均して一営業日、一次回答がなされるまでさらに一営業日ほどを要し、さらに更問いが発生した際にもほぼ同等のリードタイムを要するため、問い合わせ一件の完遂には平均して二から三営業日を要することが分かった。この対応の遅さは顧客への対応の遅れに直結するため、顧客からのクレームの原因の一つとなっており、早急な対応が望まれた。 もう一つは販推担当者の稼働ひっ迫である。販推担当者に行ったヒアリングの結果、次のような事実が分かった。 販推部門内部において、本問い合わせ業務に対応できる知識を持った担当者は、提供している各サービスの仕様を考え、マニュアルの整備も行っている三名から四名の人員に限られている。その人員に対し、各担当から一か月に寄せられる質問の数は、時期による変動はあるものの平均して70件前後である。これらの問い合わせへの対応には平均して一時間半から二時間ほどを要するため、結果として当該販推担当者はこれらの問い合わせ業務だけで稼働日換算で20%程度の稼働を割かなければならず、他業務の遂行に対する障害となっていた。 2. 分析された原因 こうした問題に対し、私は現行の業務プロセスの分析を行い、以下のような原因を突き止めた。 第一に、問い合わせフローの非効率性である。質問管理表の内容を精査したところ、応対の50%前後は社内マニュアルの内容の案内に終始するものであり、販推担当者の高度な知見を要求するものではなかった。しかしこうした応対も、一次回答までのリードタイムはほかの問い合わせと同じものであり、またマニュアルの確認には販推担当者の稼働を要するため、双方の業務において時間のロスを生む原因となっていた。 第二に、問い合わせ対応に利用するツールの非効率性である。改善前の時点での問い合わせ対応は、特段の業務システムを使うこともなく、社内イントラネット上に置かれた共有スプレッドシートを質問管理表とし、フロント担当と販推担当がともに当ファイルに質問と回答を書き込む形で運用されていた。このプロセスにおいて、質問管理表に対する質問の起票や、それに対する回答、あるいは更問いの追記などの各更新を通知する仕組みは整備されていなかったため、各担当が自発的に当該ファイルをチェックする必要があり、これが各ステップにおける対応の遅れにつながっていた。 3. 情報システムの活用法 こうした業務上の問題とその原因に対応するため、私は先述した情報システムの開発・活用を行った。 フローの非効率性に対処するのが、生成AIエージェントによる第一次対応である。当AIエージェントは、フロント担当担当が問い合わせを行った内容を踏まえて社内マニュアルを検索、精査し、その結果について即時に回答できる。これにより、理想的には全問い合わせのうち50%程度について、販推担当者の稼働を要さず、また手動対応のリードタイムを一切必要とせずに、問い合わせが解決される。実際のシステムの全面導入に先立って行った一部フロントチームへの試用では、50%には届かなかったものの、三か月平均で42%の問い合わせを自動クローズすることに成功、販推担当者の対応稼働を30%削減できた。 ツールの非効率性には、SaaSチケットシステムを導入することで対応した。当チケットシステムはチケットの作成・更新に際してメールやチャットツールへの通知送信機能を有しており、こうしたプッシュ型の更新通知の効果により、試用期間内でのチケットへの担当者アサインに要する時間は平均して2時間程度にまで大幅に改善した。
設問ウ1180字
1. 起こりうる例外的状況 本システムの導入にあたり、私は考慮しなければならない例外的状況を、以下の二つに整理した。 第一が、生成AIに関連するハルシネーションの問題である。生成AIに対する一般的なリスクとして、問い合わせの内容に対して事実と異なる回答をしてしまう可能性は排除できない。情報の入手先としてインターネットなどの外部情報を利用することを禁止したり、必ず社内マニュアルにのみ準拠した回答を行うことを指示しても、必ずその指示が守られるとは限らず、またマニュアルに表記の内容を曲解して回答するリスクも決して排除できない。したがってこうした回答が生成されてしまった場合に、その識別を簡易に行えるようにした上で、そうしたケースへの対応プロセスをフロント担当者に周知することは必要であると考えた。 第二に、問い合わせ内容に含まれる可能性のある機密情報の問題がある。フロント担当者は顧客対応に基づく問い合わせを行う関係上、場合によって顧客の住所や家族構成など、顧客の契約に関する機密情報を問い合わせ内容に含める必要がある。これまでは社内のイントラネットで情報が完結していたためこうした問い合わせでも問題はなかったものの、生成AIや外部SaaSに対して顧客のこうした情報を含めてしまうのは機密情報の漏洩につながるため、システム側と運用側双方からの抑止が必要であると考えた。 2. 例外的状況への対応策 ハルシネーションの問題に対しては、まずAIエージェントは回答に際し、直接の情報ソースとなったマニュアルの該当箇所について、章レベルでのリンクを提示することを厳守する指示をプロンプトに含めた。またそのために、参照するマニュアルはHTMLで構成し、URLだけで該当箇所にたどり着けるようにした。フロント担当者に対しては、本システムの運用マニュアルとして、URLが付与されていない回答は信頼性がないものとしてチケットを起票するようエージェントに指示すること、またURLが付与されていても、リンク先を確認して回答内容と照合できる内容であるかどうか確認し、そうでなかった場合もチケット起票を行うことを要請した。 機密情報の問題に対しては、本システムの運用マニュアルとして、社内規定上の機密情報を問い合わせに含める必要がある場合、生成AIエージェントによる一次対応をバイパスして直接チケットを起票すること、社内イントラネット上に関連情報を格納した上で問い合わせ文には格納場所のURLのみを含めることを要請した。また万が一エージェントに対して機密情報が入力されてしまった場合の備えとして、生成AIエージェントへの入力の前段に、人名や住所などの機密情報に該当する可能性のある入力をパターンマッチで排除するコンテンツフィルタを設置し、該当した入力は無条件でフィルタされるようにシステムを構成した。
採点と添削
総評
設問アでは、フロントと販推の役割や問い合わせ対応の流れを具体的に示し、設問イでは対応遅延と担当者の稼働ひっ迫の原因を分析したうえで、生成AIとチケットシステムの活用を結び付けています。設問ウでも、生成AIの誤回答や機密情報の混入というシステム固有の例外を挙げ、運用面・システム面の対応を示しています。設問間の事例や論旨にも大きな矛盾はなく、全設問が合格水準に達しているため、総合評価はAです。さらに説得力を高めるには、AIから担当者への引継ぎ条件や、施策によって顧客対応がどの程度改善したかを明確にし、例外時の安全性を支える制御や権限管理も具体化するとよいでしょう。
- 具体性
問い合わせ件数や対応時間、試用時の自動クローズ率などを示し、業務の実態と改善効果を具体的に説明できています。設問アでは、AIとチケットシステムの連携条件や引継ぎ情報をもう少し明示すると、構成の具体性がさらに高まります。
- 論理性
業務上の問題、原因、情報システムによる対策が対応しており、設問間の論旨も一貫しています。顧客対応の遅れに対する改善効果まで示すと、問題から成果までのつながりがより明確になります。
- システムアーキテクトとしての専門性
生成AIによる一次対応とチケットシステムによる人への引継ぎを組み合わせ、業務特性に応じた構成を示しています。例外時の対応についても考慮されていますが、回答の根拠を制御する仕組みや機密情報の検知・アクセス制御には、さらに設計上の具体化が望まれます。
- 文字数
設問ア: 757字(指定1〜800字、範囲内) 設問イ: 1592字(指定800〜1600字、範囲内) 設問ウ: 1180字(指定600〜1200字、範囲内) すべての設問で、指定範囲に十分な分量を書けています。 (改行・空白を除いて数えています)
- 問題への適合性
対象業務と情報システム、業務上の問題と原因、原因を取り除くための活用策、例外状況と対応策を各設問に沿って述べています。例外時にも人による対応へ移行する考え方が示されており、設問の要求に適切に答えています。
| 評価項目 | 評価 | コメント |
|---|---|---|
| 具体性 | 問い合わせ件数や対応時間、試用時の自動クローズ率などを示し、業務の実態と改善効果を具体的に説明できています。設問アでは、AIとチケットシステムの連携条件や引継ぎ情報をもう少し明示すると、構成の具体性がさらに高まります。 | |
| 論理性 | 業務上の問題、原因、情報システムによる対策が対応しており、設問間の論旨も一貫しています。顧客対応の遅れに対する改善効果まで示すと、問題から成果までのつながりがより明確になります。 | |
| システムアーキテクトとしての専門性 | 生成AIによる一次対応とチケットシステムによる人への引継ぎを組み合わせ、業務特性に応じた構成を示しています。例外時の対応についても考慮されていますが、回答の根拠を制御する仕組みや機密情報の検知・アクセス制御には、さらに設計上の具体化が望まれます。 | |
| 文字数 | 設問ア: 757字(指定1〜800字、範囲内) 設問イ: 1592字(指定800〜1600字、範囲内) 設問ウ: 1180字(指定600〜1200字、範囲内) すべての設問で、指定範囲に十分な分量を書けています。 (改行・空白を除いて数えています) | |
| 問題への適合性 | 対象業務と情報システム、業務上の問題と原因、原因を取り除くための活用策、例外状況と対応策を各設問に沿って述べています。例外時にも人による対応へ移行する考え方が示されており、設問の要求に適切に答えています。 |
アドバイス
AIによる一次対応と販推担当者への引継ぎの設計判断が十分に見えません。
マニュアル案内で解決しやすい問い合わせと、個別判断が必要な問い合わせの違いを示し、AIが回答する範囲、引継ぎ条件、チケットに渡す情報を業務の実情に結び付けて説明するとよいでしょう。
施策の効果と、冒頭で挙げた顧客対応の遅れとの関係が明確ではありません。
試用時の一次回答時間や問い合わせ完了までの時間、顧客対応への影響などを示し、処理時間の改善が問題の解消にどうつながったかを説明するとよいでしょう。
生成AIの出典提示や機密情報の検知が、プロンプトや単純なパターンマッチに依存しています。
取得した参照文書の範囲内に回答を限定し、根拠が不足する場合は回答せず担当者へ回す制御を検討してください。機密情報については分類・マスキング、検知後の安全な経路、外部SaaSに記録される情報の扱いも示すとよいでしょう。
イントラネット上の情報をURLで参照させる場合のアクセス管理が明確ではありません。
URLの認証、閲覧権限、外部SaaS上での記録・共有範囲を整理し、担当者や顧客情報に対するアクセスを適切に制御する考え方を加えると、例外時の安全性をより具体的に示せます。
| 改善点 | 対応のヒント |
|---|---|
| AIによる一次対応と販推担当者への引継ぎの設計判断が十分に見えません。 | マニュアル案内で解決しやすい問い合わせと、個別判断が必要な問い合わせの違いを示し、AIが回答する範囲、引継ぎ条件、チケットに渡す情報を業務の実情に結び付けて説明するとよいでしょう。 |
| 施策の効果と、冒頭で挙げた顧客対応の遅れとの関係が明確ではありません。 | 試用時の一次回答時間や問い合わせ完了までの時間、顧客対応への影響などを示し、処理時間の改善が問題の解消にどうつながったかを説明するとよいでしょう。 |
| 生成AIの出典提示や機密情報の検知が、プロンプトや単純なパターンマッチに依存しています。 | 取得した参照文書の範囲内に回答を限定し、根拠が不足する場合は回答せず担当者へ回す制御を検討してください。機密情報については分類・マスキング、検知後の安全な経路、外部SaaSに記録される情報の扱いも示すとよいでしょう。 |
| イントラネット上の情報をURLで参照させる場合のアクセス管理が明確ではありません。 | URLの認証、閲覧権限、外部SaaS上での記録・共有範囲を整理し、担当者や顧客情報に対するアクセスを適切に制御する考え方を加えると、例外時の安全性をより具体的に示せます。 |
設問アの添削
フロントと販推の役割や、問い合わせから回答・手動対応への流れが具体的に説明されており、対象業務とシステムの概要は把握しやすいです。設問イの問題と施策、設問ウの例外対応とも大きな矛盾はありません。さらに評価を高めるには、AIで回答する範囲やチケットへ引き継ぐ条件、両システム間の連携方法など、構成上の判断を事例の事情と結び付けて示すとよいでしょう。
添削後の回答
設問イの添削
顧客対応の遅れと販推担当者の稼働ひっ迫を業務上の問題として挙げ、問い合わせの約半数がマニュアル案内であること、共有スプレッドシートに更新通知がないことを原因として整理できています。生成AIの一次対応とチケットシステムの通知機能を原因ごとに対応させ、試用での自動クローズ率や稼働削減率も示している点が評価できます。改善点として、AIによる即時回答や担当者アサイン時間の改善が、顧客への一次回答・問い合わせ完遂までの時間やクレームにどう反映されたかを示すと、冒頭で述べた問題の解消効果をより明確に説明できます。
添削後の回答
設問ウの添削
生成AIエージェントと外部SaaSを組み合わせたシステムの特性に即して、ハルシネーションと機密情報の混入を例外状況として捉えている点は適切です。参照元の確認を促して不確かな回答をチケット対応へ回す運用や、機密情報を含む問い合わせをAIの一次対応から分ける方針も具体的です。一方、プロンプトで出典リンクを提示させるだけでは回答と根拠の一致を保証できず、氏名・住所等のパターンマッチだけでは機密情報を網羅して検出できません。また、社内イントラネット上の情報へのアクセス権や、URLを外部SaaSに記録する際の管理も明確にすると、例外時の安全性と業務継続性がより確かなものになります。
添削後の回答
参考になった 2