AI 技術を利用したシステムの企画・開発に関する監査について

近年,大量のデータの中から一定の規則・特徴を見つけ出し,予測・判断する機械学習,深層学習などの AI 技術が進展し,AI 技術を利用したシステム（以下, AI システムという）の導入事例が増えてきている。既に,画像認識による顔認証,テキスト・音声を通じて会話するチャットボット,人材マッチングによる採用支援,顧客の信用力スコアリングによる与信審査などの AI システムが実用化されている。

AI システムの開発は,ユーザ企業など（以下,ユーザという）が AI 技術のノウハウをもったベンダに収集データを提供して委託することが多い。ベンダは,収集データを学習用データセットに加工して,オープンソースソフトウェア,ベンダが保有する開発プログラムなどを組み合わせた学習用プログラムに入力し,成果物として学習済みモデルを生成する。

一方,AI システムには,アルゴリズムのブラックボックス化の問題をはじめ,収集データの不足・偏りなどによって,学習済みモデルによる予測・判断結果の解釈が難しかったり,精度が低かったりする場合がある。したがって,機能要件を確定してから構築する従来の開発手法では対応が難しくなる。また,収集データの加工に多くのコストが掛かったり,ベンダが有するノウハウなどの権利帰属の問題によって,ユーザが学習済みモデルを利用する際に制約が生じたりすることも想定される。

今後,AI システムの実用化が広がる中,システム監査人には,AI システムの利用段階でのリスクを踏まえて,AI システムの導入目的,開発手法,ユーザ・ベンダ間の取決めなどが適切かどうかを企画・開発段階で確かめておくことが求められる。

あなたの経験と考えに基づいて,設問ア〜ウに従って論述せよ。