システムアーキテクト試験 令和6年度春期 午後II(科目B-2) 問1

令和6年度春期 問1「人手によってしか実現できないと考えていた業務への先進技術の適用について」の答案例(評価A)

評価: A(合格)
運営の作成例金融・保険・不動産業営業・販売

運営が架空の事例で作成した例です。受験者の答案ではありません。評価と添削は、受験者の答案と同じAI採点の結果です。

問題文と設問

認識AI,生成AI,RPAツールなどを始めとした先進技術を,クラウドサービスやソフトウェアパッケージなどで容易に利用できるようになってきた。それに伴い,認識と判断のデジタル化の難しさや費用対効果などの理由からシステム化が困難で人手によってしか実現できないと考えていた業務の,大幅な効率化や自動化が可能になった。システムアーキテクトは,先進技術を適用した情報システムの構築を推進する必要がある。例えば,次のような業務への適用が考えられる。

  • 医療機関の画像診断業務において,がん症例画像や正常画像を学習させた認識AIによって,がん疾患の発見を補助する。
  • 広報部門の社外発表文を作成する業務において,過去の発表文やコンサルタントの指摘内容などを学習させた生成AIに発表の趣旨を与えて発表文案を作成する。
  • 注文業務において,RPAツールで入力,連携を自動化し,個別入力を排除する。

一方で,これらの先進技術を適用する場合,様々な課題が生じることがある。例えば次のような,課題と対策が考えられる。

  • 画像診断業務を自動化すると,“医師でなければ,医業をなしてはならない”という法律に抵触するおそれがある。そのため,画像診断結果を元の画像上に表示するまでにとどめて,最終的に医師が診断するなど,自動化の範囲を限定する。
  • 生成AIで学習データにインターネット上の情報を利用すると,偏った内容や誤った内容を回答してしまうおそれがある。そのため,根拠となる情報や参考情報を一緒に提示する。

あなたの経験と考えに基づいて,設問ア~ウに従って論述せよ。

設問ア

あなたが先進技術を適用した業務について,業務の内容と,その業務が人手によってしか実現できないと考えられていた理由を,800字以内で述べよ。

設問イ

設問アで述べた業務に,どのような先進技術をどのように適用したのか。大幅な効率化や自動化が可能と考えた理由を含めて,800字以上1,600字以内で具体的に述べよ。

設問ウ

設問アで述べた業務に先進技術を適用した際に,どのような課題が生じ,どのような対策を取ったのか。600字以上1,200字以内で具体的に述べよ。

答案

設問ア611字

1.1 業務の内容 A銀行は、87の店舗を持つ地方銀行であり、窓口と渉外の行員約600名が投資信託や保険商品を個人の顧客に販売している。対象の業務は、販売時の応接の録音を確認する販売モニタリングである。応接は年間約9万件あり、販売管理部のモニタリング担当者がそのうち10%に当たる9,000件を抽出して確認していた。担当者は平均40分の録音を聴取し、重要事項の説明、顧客の理解の確認、高齢者への確認手続などの28項目を、顧客の属性や商品の説明書と照合して所見を記す。1件に約2時間を要し、年間の作業時間は18,000時間に上っていた。抽出の対象外で不適切な説明があっても、苦情を受けて初めて判明することが課題であった。担当者を増やして全件を確認すれば18万時間が必要となり、約100名分の要員を確保することは現実的でなかった。 1.2 人手によってしか実現できないと考えられていた理由 理由は三つある。第一に、説明の有無は単語の有無では判断できないことである。方言や雑談が混ざり、言い回しも行員ごとに異なる。以前に試行したキーワード検索のツールは誤検出が約60%に達し、利用を断念していた。第二に、説明が十分かどうかは、顧客の年齢や投資経験と商品のリスクの組合せで変わり、文脈を踏まえた判断が必要なことである。第三に、専用のAIを自社で学習させるには大量の教師データと費用が必要で、費用対効果が見合わないと考えられていたことである。

設問イ1311字

2.1 適用方式の比較 私はシステムアーキテクトとして、方式の検討と構築を担当した。方式は三案を比較した。第一案は、自社で項目ごとの分類モデルを学習させる案である。28項目のそれぞれに教師データが必要で、準備する必要のある正解付きの応接は約3万件と見積もられ、商品の改定のたびに再学習が必要になる。第二案は、録音をそのまま生成AIに与える案である。根拠の時刻を示すことが難しく、項目の判定の検証ができない。第三案は、クラウドの音声認識AIで文字に起こし、生成AIで項目を判定し、顧客属性の照合はルールで行う案である。商品の改定には説明書の差替えで対応でき、処理の段階ごとに精度を測定できることから、第三案を採用した。 2.2 先進技術の適用内容 第一段階の音声認識AIでは、話者を行員と顧客に分離し、商品名や金融用語、地域の方言の語彙を登録した辞書を適用した。第二段階の生成AIでは、文字起こしの全文、チェック項目の定義、販売した商品の説明書の該当部分を検索して与え、項目ごとに「説明あり」「説明なし」「不明」のいずれかと、根拠の発話の時刻と引用を、決められた形式で出力させた。第三段階では、RPAツールで勘定系から顧客の年齢、投資経験、リスク許容度を取得する。75歳以上の顧客には役席者の同席が必要といった明確な基準は、生成AIには判定させず、プログラムのルールで判定した。確定的に判定できることを確率的なモデルに任せる理由がないからである。担当者の画面には、項目の判定と根拠の発話を並べ、発話をクリックすると該当箇所の録音を再生できるようにした。 2.3 大幅な効率化が可能と考えた理由 第一の理由は実証の結果である。監査で評価が確定している過去の応接600件で実証したところ、音声認識の文字の正解率は標準で86%、辞書の適用後は93%であった。生成AIの項目の判定は、説明なしの検出の再現率が97%、適合率が88%であった。見逃しは少なく、誤検出は担当者の確認で取り除けるため、人が確認する前段の処理として十分であると判断した。 第二の理由は作業の構成である。2時間の作業の大半は、録音の聴取と資料との照合であった。AIが根拠の箇所を示せば、担当者は該当箇所だけを確認すればよく、実測で1件当たり25分になった。 第三の理由は全件を処理できることである。AIの処理費用は1件約60円で、9万件でも年間約540万円である。全件をAIで判定し、説明なしまたは不明の項目を含む約13,500件と、すべて説明ありと判定された76,500件から抽出した約2%の1,500件の合計15,000件を人が確認する。作業時間は25分×15,000件で6,250時間となり、確認の範囲を全件に広げながら従来の18,000時間から約65%削減できる。 第四に投資対効果である。削減する11,750時間に時間単価4,000円を掛けると年間4,700万円の効果である。開発費は1.2億円、運用費は処理費用を含めて年間2,000万円であり、差引き年間2,700万円の効果で約4.4年で回収できる。これに苦情の未然防止の効果が加わることを説明し、経営会議の承認を得た。

設問ウ992字

3.1 判定の誤りと法令上の責任 金融商品の販売における適合性の判断は銀行が責任を負うものであり、AIの判定を最終結果にすることはできない。そこで、自動化の範囲を一次判定に限定し、指摘の確定は必ずモニタリング担当者が行うこととした。また、すべて説明ありと判定された応接にも見逃しが残るため、前述の約2%の抽出確認を継続することにした。抽出で見逃しが見つかった項目は、月次でプロンプトと項目の定義を見直し、稼働6か月後の再現率は98%となった。この業務設計については、コンプライアンス統括部と検討を重ね、判定の根拠と担当者の確定の履歴を7年間保存することで、当局の検査にも説明できるようにした。 3.2 生成AIが存在しない根拠を示すおそれ 実証では、録音にない発話を根拠として引用する事例が約0.5%発生した。これは担当者の信頼を損なう。そこで、生成AIが出力した引用が文字起こしの全文に実在するかをプログラムで照合し、一致しない場合は判定を「不明」に置き換えて人の確認に回すこととした。 3.3 顧客情報の保護 録音には氏名、口座番号、資産状況が含まれ、社外のクラウドで扱うことへの懸念がリスク管理部から示された。そこで、インターネットを経由しない閉域接続と国内リージョンの利用、入力データをサービス提供者の学習に利用しない契約を条件とした。さらに、文字起こしの後に、氏名と口座番号を正規表現と固有表現抽出で記号に置き換えてから生成AIに渡すこととした。金融機関向けの安全対策基準に基づく評価を行い、リスク管理部の承認を得た。 3.4 音声認識の精度のばらつき 店舗別に分析すると、山間部の店舗で、高齢の顧客との応接の文字の正解率が78%にとどまった。認識の誤りは判定の誤りに直結するため、音声認識の信頼度が0.7未満の区間が応接の20%を超える場合は、判定結果にかかわらず人が確認する対象に加えた。この対象は前述の13,500件の算出に含めている。 3.5 営業現場の抵抗 全件の確認を行うことに対し、営業部門からは監視の強化であるとの反発があった。そこで営業統括部長と協議し、良好な説明の事例も抽出して研修の教材とし、行員が自分の応接の判定を確認して振り返れる機能を追加した。指摘の件数を人事評価に直接用いないことも取り決めた。その結果、導入1年後の重要事項の説明漏れの指摘率は導入当初から約4割減少した。

採点と添削

総評

地方銀行の販売モニタリング業務を題材に、業務量や従来方式の限界から、先進技術の選定・適用、導入後の課題と対策まで一貫して論述できています。音声認識AI、生成AI、RPA、ルール判定の役割分担に加え、実証結果や工数・費用対効果を示しており、技術面と経営面の双方から導入判断を説明できています。人による最終確認、情報保護、現場の受容性など金融機関で重要な論点にも具体的に対応しています。設問ウで要確認対象に音声認識の信頼度が低い応接を含めたことは示されていますが、設問イでもその条件を明記すると、確認件数の算出根拠がより明瞭になります。また、引用の時刻・話者との対応確認や、音声認識サービスに渡す録音データの保護・削除条件を補うと、運用の説明責任と情報保護をさらに強化できます。

  • 具体性

    業務件数、作業時間、AIの精度、確認対象件数、費用対効果などを事例に即して示しており、導入前後の変化が具体的に伝わります。

  • 論理性

    人手確認が必要と考えられていた背景から方式選定、効率化の根拠、導入後のリスク対策へと論旨がつながっています。確認対象の条件を設問イでも明確にすると、件数見積りとの対応がさらに分かりやすくなります。

  • システムアーキテクトとしての専門性

    方式を比較したうえで、確率的なAIと確定的なルールを使い分け、監査性やセキュリティ、運用、投資対効果まで考慮しており、システムアーキテクトとしての判断が示されています。

  • 文字数

    設問ア: 611字(指定0〜800字、範囲内) 設問イ: 1311字(指定800〜1600字、範囲内) 設問ウ: 992字(指定600〜1200字、範囲内) すべての設問で、指定範囲に十分な分量を書けています。 (改行・空白を除いて数えています)

  • 問題への適合性

    各設問が求める業務の背景、先進技術の適用と効率化の根拠、適用時の課題と対策に具体的に答えています。三つの設問で同じ業務を扱い、全体の整合性も保たれています。

アドバイス

  • 人による確認対象の約13,500件の内訳が、設問イだけでは明確ではありません。

    設問イにも、説明なし・不明の判定に加えて、音声認識の信頼度が低い応接を含める条件を記し、設問ウの条件や15,000件の工数見積りと対応させるとよいでしょう。

  • 生成AIが出力した引用の文字列照合だけでは、時刻や話者との対応までは確認できません。

    引用文が該当する録音区間や話者と一致するかを照合し、一致を確認できない場合は「不明」として担当者に回す運用を補うと、根拠の信頼性が高まります。

  • 文字起こし後のマスキングは示されていますが、クラウド音声認識に渡す録音データの保護範囲や保存条件は読み取りにくいです。

    閉域接続や国内リージョン、学習利用の禁止が音声認識サービスにも適用されることと、録音データの保存・削除条件を明記すると、情報保護の説明が一貫します。

  • 専用AIの学習コストが、教師データの準備や継続運用の負担としては簡潔にとどまっています。

    教師データの作成量や、商品改定時に必要となる再学習・評価作業を補足すると、比較案を採用しなかった理由がより具体的になります。

設問アの添削

地方銀行の販売モニタリング業務について、対象業務、確認項目、作業量、抽出確認による課題が具体的に示されています。人手による確認が必要と考えられていた理由も、キーワード検索の誤検出、顧客や商品の状況に応じた文脈判断、専用AIの費用対効果から説明できており、設問の要求を満たしています。特に、全件確認に約100名分の要員が必要という制約は、業務改善の必要性を明確にしています。専用AIの学習負荷について、必要な教師データの規模や商品改定時の更新負荷をもう少し具体化すると、理由の説得力がさらに高まります。

1.1 業務の内容 A銀行は、87の店舗を持つ地方銀行であり、窓口と渉外の行員約600名が投資信託や保険商品を個人の顧客に販売している。対象の業務は、販売時の応接の録音を確認する販売モニタリングである。応接は年間約9万件あり、販売管理部のモニタリング担当者がそのうち10%に当たる9,000件を抽出して確認していた。担当者は平均40分の録音を聴取し、重要事項の説明、顧客の理解の確認、高齢者への確認手続などの28項目を、顧客の属性や商品の説明書と照合して所見を記す。1件に約2時間を要し、年間の作業時間は18,000時間に上っていた。抽出の対象外で不適切な説明があっても、苦情を受けて初めて判明することが課題であった。担当者を増やして全件を確認すれば18万時間が必要となり、約100名分の要員を確保することは現実的でなかった。3 1.2 人手によってしか実現できないと考えられていた理由 理由は三つある。第一に、説明の有無は単語の有無では判断できないことである。方言や雑談が混ざり、言い回しも行員ごとに異なる。以前に試行したキーワード検索のツールは誤検出が約60%に達し、利用を断念していた。1第二に、説明が十分かどうかは、顧客の年齢や投資経験と商品のリスクの組合せで変わり、文脈を踏まえた判断が必要なことである。2第三に、専用のAIを自社で学習させるには大量の教師データと費用が必要で、費用対効果が見合わないと考えられていたことである。1

設問イの添削

音声認識AI、生成AI、RPA、ルール判定を組み合わせた構成を、複数案の比較を通じて選定しており、金融商品の販売モニタリングに即した設計判断が読み取れます。実証での精度、確認時間、対象件数、費用や回収年数まで示し、全件を対象にしながら効率化する効果を定量的に説明できています。改善点として、設問ウで13,500件に含めるとした音声認識の信頼度が低い応接について、設問イでも対象に含める条件を明記すると、確認件数や工数見積りの説明がより一貫します。

2.1 適用方式の比較 私はシステムアーキテクトとして、方式の検討と構築を担当した。方式は三案を比較した。第一案は、自社で項目ごとの分類モデルを学習させる案である。28項目のそれぞれに教師データが必要で、準備する必要のある正解付きの応接は約3万件と見積もられ、商品の改定のたびに再学習が必要になる。第二案は、録音をそのまま生成AIに与える案である。根拠の時刻を示すことが難しく、項目の判定の検証ができない。第三案は、クラウドの音声認識AIで文字に起こし、生成AIで項目を判定し、顧客属性の照合はルールで行う案である。商品の改定には説明書の差替えで対応でき、処理の段階ごとに精度を測定できることから、第三案を採用した。1 2.2 先進技術の適用内容 第一段階の音声認識AIでは、話者を行員と顧客に分離し、商品名や金融用語、地域の方言の語彙を登録した辞書を適用した。第二段階の生成AIでは、文字起こしの全文、チェック項目の定義、販売した商品の説明書の該当部分を検索して与え、項目ごとに「説明あり」「説明なし」「不明」のいずれかと、根拠の発話の時刻と引用を、決められた形式で出力させた。第三段階では、RPAツールで勘定系から顧客の年齢、投資経験、リスク許容度を取得する。75歳以上の顧客には役席者の同席が必要といった明確な基準は、生成AIには判定させず、プログラムのルールで判定した。確定的に判定できることを確率的なモデルに任せる理由がないからである。2担当者の画面には、項目の判定と根拠の発話を並べ、発話をクリックすると該当箇所の録音を再生できるようにした。 2.3 大幅な効率化が可能と考えた理由 第一の理由は実証の結果である。監査で評価が確定している過去の応接600件で実証したところ、音声認識の文字の正解率は標準で86%、辞書の適用後は93%であった。生成AIの項目の判定は、説明なしの検出の再現率が97%、適合率が88%であった。見逃しは少なく、誤検出は担当者の確認で取り除けるため、人が確認する前段の処理として十分であると判断した。 第二の理由は作業の構成である。2時間の作業の大半は、録音の聴取と資料との照合であった。AIが根拠の箇所を示せば、担当者は該当箇所だけを確認すればよく、実測で1件当たり25分になった。 第三の理由は全件を処理できることである。AIの処理費用は1件約60円で、9万件でも年間約540万円である。全件をAIで判定し、説明なしまたは不明の項目を含む約13,500件と、すべて説明ありと判定された76,500件から抽出した約2%の1,500件の合計15,000件を人が確認する。1作業時間は25分×15,000件で6,250時間となり、確認の範囲を全件に広げながら従来の18,000時間から約65%削減できる。3 第四に投資対効果である。削減する11,750時間に時間単価4,000円を掛けると年間4,700万円の効果である。開発費は1.2億円、運用費は処理費用を含めて年間2,000万円であり、差引き年間2,700万円の効果で約4.4年で回収できる。これに苦情の未然防止の効果が加わることを説明し、経営会議の承認を得た。4

設問ウの添削

法令・説明責任、生成AIの根拠誤り、顧客情報保護、音声認識の店舗差、営業現場の抵抗と、異なる性質の課題を整理し、それぞれに運用上の対策を示せています。特に、人による最終確定と抽出確認を維持しつつ、信頼度が低い応接を追加確認に回す設計は、設問イで示した全件処理・効率化の計画ともよくつながっています。引用の文字列照合については、引用時刻や話者との対応まで検証できるかを補足すると、根拠の信頼性をさらに高められます。また、設問イの音声認識AIにも録音を渡すため、マスキング前の音声データに適用する保護策の範囲を明確にすると、情報保護の説明がより確実になります。

3.1 判定の誤りと法令上の責任 金融商品の販売における適合性の判断は銀行が責任を負うものであり、AIの判定を最終結果にすることはできない。そこで、自動化の範囲を一次判定に限定し、指摘の確定は必ずモニタリング担当者が行うこととした。また、すべて説明ありと判定された応接にも見逃しが残るため、前述の約2%の抽出確認を継続することにした。1抽出で見逃しが見つかった項目は、月次でプロンプトと項目の定義を見直し、稼働6か月後の再現率は98%となった。この業務設計については、コンプライアンス統括部と検討を重ね、判定の根拠と担当者の確定の履歴を7年間保存することで、当局の検査にも説明できるようにした。2 3.2 生成AIが存在しない根拠を示すおそれ 実証では、録音にない発話を根拠として引用する事例が約0.5%発生した。これは担当者の信頼を損なう。そこで、生成AIが出力した引用が文字起こしの全文に実在するかをプログラムで照合し、一致しない場合は判定を「不明」に置き換えて人の確認に回すこととした。1 3.3 顧客情報の保護 録音には氏名、口座番号、資産状況が含まれ、社外のクラウドで扱うことへの懸念がリスク管理部から示された。そこで、インターネットを経由しない閉域接続と国内リージョンの利用、入力データをサービス提供者の学習に利用しない契約を条件とした。3さらに、文字起こしの後に、氏名と口座番号を正規表現と固有表現抽出で記号に置き換えてから生成AIに渡すこととした。2金融機関向けの安全対策基準に基づく評価を行い、リスク管理部の承認を得た。 3.4 音声認識の精度のばらつき 店舗別に分析すると、山間部の店舗で、高齢の顧客との応接の文字の正解率が78%にとどまった。認識の誤りは判定の誤りに直結するため、音声認識の信頼度が0.7未満の区間が応接の20%を超える場合は、判定結果にかかわらず人が確認する対象に加えた。4この対象は前述の13,500件の算出に含めている。 3.5 営業現場の抵抗 全件の確認を行うことに対し、営業部門からは監視の強化であるとの反発があった。そこで営業統括部長と協議し、良好な説明の事例も抽出して研修の教材とし、行員が自分の応接の判定を確認して振り返れる機能を追加した。5指摘の件数を人事評価に直接用いないことも取り決めた。その結果、導入1年後の重要事項の説明漏れの指摘率は導入当初から約4割減少した。5

参考になった