システム監査技術者試験 令和5年度秋期 午後II(科目B-2) 問1

令和5年度秋期 問1「データ利活用基盤の構築に関するシステム監査について」の答案例(評価A)

評価: A(合格)
運営の作成例卸売・小売業・飲食店営業・販売

運営が架空の事例で作成した例です。受験者の答案ではありません。評価と添削は、受験者の答案と同じAI採点の結果です。

問題文と設問

情報通信技術が進展し,消費者,利用者などのニーズが多様化する中,企業などの組織は,ビッグデータを利活用して経営課題を解決したり,新たなビジネス,サービスを創造したりすることに取り組んでいる。例えば,定量的データだけではなく,定性的データを分析するデータサイエンスの技術を活用した経営戦略策定,市場分析などが挙げられる。このような仕組みを実現するためには,関連する様々なデータを利活用できるプラットフォームとなるデータ基盤(以下,データ利活用基盤という)が必要になる。

一方で,データの収集元になる情報システム,センサー機器などを個別に設計し,配置すると,組織全体として整合せず,データを有効に利活用できないおそれがある。また,パターン認識などに必要な画像データなどに偏りや欠損などが多いと,予測・シミュレーションの結果を誤ることも考えられる。

したがって,企業などの組織では,一貫性があり,正確で信頼できるデータを収集し,保存するとともに,加工,分析したデータを蓄積するデータ利活用基盤の構築が重要になる。また,構築に当たっては,データの品質を維持したり,データのセキュリティを確保したりするなどの統制を組み込むことも必要である。

今後,データ利活用を求められる状況が拡大していく中,システム監査人には,データ利活用基盤が適切に構築されているかどうかを確かめるための監査が求められる。また,監査を行うに当たっては,システム監査人の視点が,例えば,データセキュリティだけに偏ったりしないように留意する必要がある。

あなたの経験と考えに基づいて,設問ア~ウに従って論述せよ。

設問ア

あなたが関係する組織におけるデータ利活用基盤の構築の概要,目的,及びその基盤が必要となる理由について,800字以内で述べよ。

設問イ

設問アで述べたデータ利活用基盤の構築に際して,システム監査人はどのようなリスクを想定すべきか。700字以上1,400字以内で具体的に述べよ。

設問ウ

設問イで述べたリスクを踏まえて,データ利活用基盤が適切に構築されているかどうかを確かめるための監査手続について,700字以上1,400字以内で具体的に述べよ。

答案

設問ア655字

1.1 データ利活用基盤の構築の概要 A社は、地方の4県でホームセンターを85店舗展開する小売業者であり、取扱商品は約12万品目、会員アプリの会員は約240万人である。私はA社の監査部に所属するシステム監査人であり、現在構築中のデータ利活用基盤について、設計工程の完了時点で監査を行った。この基盤は、店舗のPOS、ECサイト、会員アプリ、在庫管理、発注の各システムのデータと、外部から購入する気象データを日次でクラウド上に集約し、商品と会員の単位で統合して蓄積するものである。その上に、需要予測のモデルと、販促の対象者を抽出する分析の仕組みを載せる。構築期間は18か月で、営業企画部が主管し、情報システム部と外部の開発事業者が構築を担う。 1.2 構築の目的 目的は二つある。第一に、天候や地域の行事を加味した需要予測によって発注を自動化し、欠品率を現状の4.2%から3.0%に下げることである。園芸用品や防災用品は天候で需要が大きく変動し、店長の経験に頼る発注では欠品と過剰在庫の両方が生じている。第二に、店舗とECの購買履歴を合わせて会員ごとの販促を行い、会員の年間購買回数を高めることである。 1.3 基盤が必要となる理由 現状では、POSとECで商品コードの体系が異なり、同じ商品の売上を合算できない。また、各システムのデータは部門ごとに個別に抽出され、集計の定義も部門ごとに異なるため、会議で売上の数値が一致しないことがある。目的を達成するには、一貫した定義で正確なデータを集め、全社で共通に使える基盤が必要である。

設問イ1050字

2.1 リスクの想定に当たっての考え方 問題の性質上、監査の視点がデータセキュリティに偏ると、基盤が目的を果たせないという本来のリスクを見落とす。そこで私は、データの一貫性、データの品質、データの管理体制、データのセキュリティの四つの観点からリスクを洗い出し、同じ基準で評価して重点を決めることとした。 評価基準は次のとおりとし、監査計画書に記載して営業企画部と合意した。影響度は、リスクが顕在化したときの発注や販促の判断の誤りによる損失額、又は法令違反の有無で判定する。高は、月1,000万円以上の損失が見込まれるもの又は法令違反となるもの、中は、高に該当せず月100万円以上1,000万円未満のもの、低は、いずれにも該当しないものである。発生可能性は、構築計画の内容で判定する。高は、対策が計画にないもの、中は、対策はあるが対策の有効性を確かめる方法が定まっていないもの、低は、対策と確かめる方法の両方が定まっているものである。いずれも上位から順に当てはめるため、一つのリスクが二つの段階に該当することはない。影響度と発生可能性の一方が高で他方が中以上のものを重点リスクとした。 2.2 想定したリスク (1)商品コードの名寄せの誤りにより統合データの一貫性が失われるリスク POSとECの商品コードを対応付ける名寄せのルールに漏れや誤りがあると、需要予測の元になる売上が過小又は過大になり、発注を誤る。主力の季節商品で誤れば損失は月1,000万円を超え、名寄せの検証方法も計画になかったため、影響度、発生可能性とも高と評価した。 (2)学習データの欠損や偏りにより需要予測を誤るリスク 過去3年分の売上には、台風による臨時休業や改装中の欠測が含まれ、開店後3年未満の店舗は学習データが少ない。欠損の扱いを決めずに学習させると予測が偏る。計画には欠損率の確認はあるが、許容する基準と予測精度の検証方法がないため、影響度高、発生可能性中とした。 (3)データの責任者が定まらず品質が維持されないリスク 稼働後に元のシステムの項目が変わっても、誰が基盤への影響を判断するかが決まっていなければ、品質は徐々に低下する。影響度中、発生可能性高とした。 (4)会員の個人データが目的外に利用されるリスク 購買履歴を販促に使う範囲が利用目的の公表内容を超えると法令違反となる。アクセス権の設計はあるが、分析者が会員を特定できる項目を参照できる設計であったため、影響度高、発生可能性中とした。 以上の4件は、いずれも重点リスクに該当する。

設問ウ1074字

3.1 監査手続の全体像 監査は、設計書が確定した段階で、稼働前に是正できるよう実施した。私はこの基盤の構築に関与しておらず、監査人は助言にとどまり設計の判断は行わないことを、監査の開始時に営業企画部長と確認した。手続は、設計書の閲覧だけでなく、移行用に抽出された本番相当のデータを用いた検証を中心とした。 3.2 リスクごとの監査手続 (1)名寄せの誤り 名寄せのルールを定めた設計書と移行リハーサルの結果報告書を入手する。監査用のツールを用いて、POSとECの商品マスタ約12万品目の全件を名寄せのルールで対応付け、対応付かない品目と、一つのPOSコードに複数のECコードが対応する品目の件数を算出する。この件数を、構築側が報告書で示した件数と比較し、差異がある場合は原因を確かめる。さらに、売上上位の季節商品200品目を抽出し、対応付けの結果を商品部の担当者と目視で照合する。 (2)学習データの欠損と偏り データ品質の基準書と学習データの仕様書を入手する。85店舗の過去3年分の売上データについて、店舗ごとに欠損日の割合を算出し、欠損率が5%を超える店舗の扱いが仕様書に定められているかを確かめる。また、開店後3年未満の12店舗に対し、近い立地の店舗のデータで補う方法が定められ、営業企画部が承認しているかを確かめる。予測精度の目標と、稼働前に実績と比較して検証する手順が計画書にあるかも確かめる。 (3)データの責任者 データ管理規程の案、データ項目の定義を集めた一覧、責任者の任命記録を入手する。一覧の全項目に責任者が記載されているか、元のシステムの変更時に責任者が影響を判断する手続が規程にあるかを確かめる。営業企画部と情報システム部の責任者にインタビューを行い、規程の内容を理解しているかも確かめる。 (4)個人データの目的外利用 個人情報の利用目的の公表文、アクセス権の設計書、ロール一覧、仮名化の手順書を入手する。ロール一覧の全件を業務分掌表と照合し、分析担当のロールから会員を特定できる項目が除かれているかを確かめる。また、販促での利用方法が公表文の利用目的の範囲内かを確かめる。分析用の環境から会員データを取り出す操作のログが取得され、定期的に点検される設計になっているかも確かめる。 3.3 監査結論の根拠 手続の結果は、母集団、検証した件数、照合した項目を監査調書に記録する。重点リスクのうち対策が不十分なものは、稼働前に是正すべき事項として、根拠となる設計書の箇所とともに報告する。是正の結果は、稼働判定の会議の前にフォローアップの手続で確かめる。

採点と添削

総評

設問アからウまで、A社の小売業務に即した一貫性のある論述です。設問アでは、POS・ECの商品コードの不一致や部門間の集計差異を基盤構築の必要性に結び付け、需要予測や会員販促の目的を具体的に示しています。設問イでは、データの一貫性、品質、管理体制、セキュリティの観点からリスクを挙げ、設問ウでは、それぞれに対応する資料確認、全件検証、サンプル照合などの監査手続を示しています。設計段階での監査、独立性への配慮、調書化、稼働前のフォローアップまで記述されており、システム監査人としての専門性も評価できます。各設問はいずれも合格水準で、論旨の食い違いも見られないため、総合評価はAです。さらに説得力を高めるには、リスク評価基準の根拠をA社の実情に結び付け、データ欠損や予測精度の基準が妥当かを評価する手続まで明確にするとよいでしょう。

  • 具体性

    店舗数、商品数、会員数、欠品率の目標に加え、名寄せの全件検証や季節商品の照合など、A社の事例と監査対象に即した具体的な記述ができています。

  • 論理性

    設問アの業務課題から設問イのリスク、設問ウの監査手続へとつながっており、回答全体の論旨に一貫性があります。

  • システム監査技術者としての専門性

    リスクの重点化、監査人の独立性、証拠の調書化、稼働前の是正確認まで述べられており、監査実務への理解が示されています。評価基準や品質基準の妥当性を確かめる観点を加えると、さらに専門性が高まります。

  • 文字数

    設問ア: 655字(指定1〜800字、範囲内) 設問イ: 1050字(指定700〜1400字、範囲内) 設問ウ: 1074字(指定700〜1400字、範囲内) すべての設問で、指定範囲に十分な分量を書けています。 (改行・空白を除いて数えています)

  • 問題への適合性

    基盤の概要・目的・必要性、想定リスク、リスクに対応した監査手続という各設問の要求に答えています。データセキュリティだけに偏らず、品質や一貫性にも目を向けている点も適切です。

アドバイス

  • リスク評価基準の根拠が十分に示されていません。

    月額の損失基準を、A社の売上規模、粗利益、影響する店舗数や商品数などに結び付けて説明すると、重点リスクの選定に説得力が増します。

  • 発生可能性の評価で、事象の起こりやすさと統制の整備状況が混同されるおそれがあります。

    元システムの変更頻度や過去のデータ誤りなど、発生可能性を示す事実を挙げ、統制の有無はその判断を補う要素として整理するとよいでしょう。

  • 学習データの欠損率や予測精度について、定められた基準の妥当性を評価する手続がやや限定的です。

    欠損の原因別の扱い、評価指標、比較対象、合格基準、店舗や期間による偏りの確認方法が、業務への影響に照らして適切かを確かめる手続を加えるとよいでしょう。

  • 会員データの目的外利用以外に、基盤の構成に応じたセキュリティリスクへの言及が限定的です。

    権限設定による不正閲覧や持出し、クラウド環境・外部委託先からの漏えい、データの消失や利用不能なども検討し、設問ウの監査手続と対応させると網羅性が高まります。

設問アの添削

基盤の構成、関係部門、構築期間、利用目的が具体的に整理され、需要予測や会員販促という業務上の狙いも明確です。特に、POSとECの商品コードの不一致や部門ごとの集計定義の違いを、基盤が必要となる理由として挙げている点が評価できます。改善するなら、会員単位でデータを統合して販促に使う構成に合わせ、利用目的やアクセス制御などの統制も基盤に組み込む必要性に触れると、問題文が重視する信頼性・セキュリティへの配慮がより明確になります。

1.1 データ利活用基盤の構築の概要 A社は、地方の4県でホームセンターを85店舗展開する小売業者であり、取扱商品は約12万品目、会員アプリの会員は約240万人である。1私はA社の監査部に所属するシステム監査人であり、現在構築中のデータ利活用基盤について、設計工程の完了時点で監査を行った。この基盤は、店舗のPOS、ECサイト、会員アプリ、在庫管理、発注の各システムのデータと、外部から購入する気象データを日次でクラウド上に集約し、商品と会員の単位で統合して蓄積するものである。1その上に、需要予測のモデルと、販促の対象者を抽出する分析の仕組みを載せる。構築期間は18か月で、営業企画部が主管し、情報システム部と外部の開発事業者が構築を担う。 1.2 構築の目的 目的は二つある。第一に、天候や地域の行事を加味した需要予測によって発注を自動化し、欠品率を現状の4.2%から3.0%に下げることである。2園芸用品や防災用品は天候で需要が大きく変動し、店長の経験に頼る発注では欠品と過剰在庫の両方が生じている。第二に、店舗とECの購買履歴を合わせて会員ごとの販促を行い、会員の年間購買回数を高めることである。 1.3 基盤が必要となる理由 現状では、POSとECで商品コードの体系が異なり、同じ商品の売上を合算できない。また、各システムのデータは部門ごとに個別に抽出され、集計の定義も部門ごとに異なるため、会議で売上の数値が一致しないことがある。3目的を達成するには、一貫した定義で正確なデータを集め、全社で共通に使える基盤が必要である。

設問イの添削

データセキュリティだけでなく、一貫性、品質、管理体制も含めてリスクを洗い出し、A社のPOS・EC、需要予測、会員販促に即して具体化できています。影響度と発生可能性で重点リスクを選ぶ考え方も明示され、設問ウの監査手続との対応も明確です。一方、損失額の境界値や発生可能性の判定方法には根拠の補強が必要です。また、データ責任者のリスク評価や、個人データ以外の情報セキュリティ上のリスクについても、より具体的に述べると監査人としてのリスク把握が深まります。

2.1 リスクの想定に当たっての考え方 問題の性質上、監査の視点がデータセキュリティに偏ると、基盤が目的を果たせないという本来のリスクを見落とす。そこで私は、データの一貫性、データの品質、データの管理体制、データのセキュリティの四つの観点からリスクを洗い出し、同じ基準で評価して重点を決めることとした。1 評価基準は次のとおりとし、監査計画書に記載して営業企画部と合意した。影響度は、リスクが顕在化したときの発注や販促の判断の誤りによる損失額、又は法令違反の有無で判定する。高は、月1,000万円以上の損失が見込まれるもの又は法令違反となるもの、中は、高に該当せず月100万円以上1,000万円未満のもの、低は、いずれにも該当しないものである。1発生可能性は、構築計画の内容で判定する。高は、対策が計画にないもの、中は、対策はあるが対策の有効性を確かめる方法が定まっていないもの、低は、対策と確かめる方法の両方が定まっているものである。1いずれも上位から順に当てはめるため、一つのリスクが二つの段階に該当することはない。影響度と発生可能性の一方が高で他方が中以上のものを重点リスクとした。 2.2 想定したリスク (1)商品コードの名寄せの誤りにより統合データの一貫性が失われるリスク POSとECの商品コードを対応付ける名寄せのルールに漏れや誤りがあると、需要予測の元になる売上が過小又は過大になり、発注を誤る。2主力の季節商品で誤れば損失は月1,000万円を超え、名寄せの検証方法も計画になかったため、影響度、発生可能性とも高と評価した。 (2)学習データの欠損や偏りにより需要予測を誤るリスク 過去3年分の売上には、台風による臨時休業や改装中の欠測が含まれ、開店後3年未満の店舗は学習データが少ない。2欠損の扱いを決めずに学習させると予測が偏る。計画には欠損率の確認はあるが、許容する基準と予測精度の検証方法がないため、影響度高、発生可能性中とした。 (3)データの責任者が定まらず品質が維持されないリスク2 稼働後に元のシステムの項目が変わっても、誰が基盤への影響を判断するかが決まっていなければ、品質は徐々に低下する。影響度中、発生可能性高とした。2 (4)会員の個人データが目的外に利用されるリスク 購買履歴を販促に使う範囲が利用目的の公表内容を超えると法令違反となる。アクセス権の設計はあるが、分析者が会員を特定できる項目を参照できる設計であったため、影響度高、発生可能性中とした。3 以上の4件は、いずれも重点リスクに該当する。3

設問ウの添削

設問イで挙げた四つのリスクに対応して、資料閲覧、全件検証、サンプル照合、インタビューなどの手続を具体的に記載できています。設計段階で監査する理由や監査人の独立性、調書化とフォローアップまで示している点も評価できます。一方、欠損率の基準や予測精度の検証方法については、資料に定めがあるかを確認するだけでなく、その基準・方法がリスクに照らして妥当かを評価する手続まで明確にすると、監査結論の根拠がさらに強くなります。

3.1 監査手続の全体像 監査は、設計書が確定した段階で、稼働前に是正できるよう実施した。私はこの基盤の構築に関与しておらず、監査人は助言にとどまり設計の判断は行わないことを、監査の開始時に営業企画部長と確認した。1手続は、設計書の閲覧だけでなく、移行用に抽出された本番相当のデータを用いた検証を中心とした。 3.2 リスクごとの監査手続 (1)名寄せの誤り 名寄せのルールを定めた設計書と移行リハーサルの結果報告書を入手する。監査用のツールを用いて、POSとECの商品マスタ約12万品目の全件を名寄せのルールで対応付け、対応付かない品目と、一つのPOSコードに複数のECコードが対応する品目の件数を算出する。2この件数を、構築側が報告書で示した件数と比較し、差異がある場合は原因を確かめる。さらに、売上上位の季節商品200品目を抽出し、対応付けの結果を商品部の担当者と目視で照合する。 (2)学習データの欠損と偏り データ品質の基準書と学習データの仕様書を入手する。85店舗の過去3年分の売上データについて、店舗ごとに欠損日の割合を算出し、欠損率が5%を超える店舗の扱いが仕様書に定められているかを確かめる。1また、開店後3年未満の12店舗に対し、近い立地の店舗のデータで補う方法が定められ、営業企画部が承認しているかを確かめる。予測精度の目標と、稼働前に実績と比較して検証する手順が計画書にあるかも確かめる。2 (3)データの責任者 データ管理規程の案、データ項目の定義を集めた一覧、責任者の任命記録を入手する。一覧の全項目に責任者が記載されているか、元のシステムの変更時に責任者が影響を判断する手続が規程にあるかを確かめる。営業企画部と情報システム部の責任者にインタビューを行い、規程の内容を理解しているかも確かめる。 (4)個人データの目的外利用 個人情報の利用目的の公表文、アクセス権の設計書、ロール一覧、仮名化の手順書を入手する。ロール一覧の全件を業務分掌表と照合し、分析担当のロールから会員を特定できる項目が除かれているかを確かめる。また、販促での利用方法が公表文の利用目的の範囲内かを確かめる。分析用の環境から会員データを取り出す操作のログが取得され、定期的に点検される設計になっているかも確かめる。 3.3 監査結論の根拠 手続の結果は、母集団、検証した件数、照合した項目を監査調書に記録する。重点リスクのうち対策が不十分なものは、稼働前に是正すべき事項として、根拠となる設計書の箇所とともに報告する。是正の結果は、稼働判定の会議の前にフォローアップの手続で確かめる。3

参考になった