AI を使ったシステム監視の改善

W 社は，中堅の自動車部品製造会社である。W 社は，土曜日，日曜日及び年末年始を休業日としており，休業日以外の日を勤務日としている。W 社の従業員は，勤務日の 9 時から 18 時まで勤務している。W 社の生産部は，生産活動に関わる計画及び管理を行っている。W 社の情報システム部は，生産システムなどのアプリケーションシステムの開発と運用を行っている。
生産システムは，24 時間 365 日稼働しており，生産部の従業員が利用している。生産部の従業員は，生産システムを使って，表 1 に示す生産支援業務を行っている。

情報システム部の監視チームは，監視システムを使って，複数の業務サーバの監視を行っている。監視システムの主な機能を表 2 に示す。

生産システムの業務サーバの監視では，対象サーバに対するリソース監視機能のしきい値を，80％と設定している。生産支援業務を行う時間帯は，生産支援業務を行っていない時間帯に比べて，CPU の負荷が高いことが判明した。生産支援業務を行っていて，生産システムの利用が一時的に増加すると，CPU 使用率がしきい値を超過する事象（以下，しきい値超えという）が発生していることが分かった。2022 年 4 月第 3 週に発生した，しきい値超えの発生件数を表 3 に示す。

しきい値超えが発生した場合は，イベント記録簿に，発生時刻，対象サーバ及びメッセージ内容（以下，これらをイベント情報という）を記録する作業が必要であり，運用業務工数の多さが，監視チームの負担となっていた。しきい値超えが発生して次の平均値算出時刻である 10 分後に再びしきい値超えが発生した場合，監視チームはインシデントと判断し，インシデント対応プロセスを開始する。インシデント対応に時間を要する場合は，CPU 使用率が 90％以上となって，生産システムの利用者に業務影響を及ぼすインシデント（以下，業務影響有インシデントという）になる前に，利用者に連絡し，業務量を一時的に抑制してもらう。表 3 の場合，合計で 10 件のインシデントが発生していた。インシデントに当たらない場合は，利用者への連絡などは行わずに対応完了としている。

情報システム部の IT サービスマネージャ Y 氏は，監視チームの負担について改善方法を考えた。しきい値を現在の 80％から 90％に変更する案を検討したが，インシデントが発生した際の業務への影響を最小限にするための対応を考慮すると （ア）現実的な改善策とはならなかった。Y 氏は，改善策として，“監視システムの制約から，サーバごとに，CPU 使用率を全ての時間帯で，同じしきい値で監視している点を改善する必要がある。”と考えた。そこで，他社の事例を参考に，“AI を用いて，過去の CPU 使用率の傾向を学習し，曜日や時間帯に合わせた最適なしきい値で監視する機能（以下，動的しきい値監視という）”を有するアプリケーションソフトウェアを導入し，検証することにした。Y 氏は，機能や価格を調査した結果，R 社の動的しきい値監視ソフトウェア（以下，R ソフトという）を選定した。R ソフトでは，曜日別，かつ，10 分間隔など設定した間隔（以下，測定時間帯という）別にしきい値を設定することができる。Y 氏は，R ソフト導入後に監視システムのリソース監視機能の使用を停止し，監視システムのメッセージ監視機能と R ソフトとで分担してシステム監視を行うこととした。
R ソフトの主な機能を表 4 に示す。

Y 氏は，次の理由から表 4 の項番 1，及び項番 2 の機能を使うことにした。

• 項番 1：曜日や時間帯ごとに，生産システムの利用特性を踏まえたしきい値が設定される。
• 項番 2：監視システムのリソース監視機能に該当する機能がある。

しきい値の設定例を，過去 4 週間分の CPU 使用率の平均値とともに表 5 に示す。 R ソフトを用いたシステム監視を 2022 年 12 月 1 日から開始し，検証期間は 4 か月とした。
監視を開始して約 1 か月が経過した 1 月上旬のある日に，しきい値の超過が多く発生することがあった。調査の結果，AI に学習させる際に，（イ）除外日の設定を考慮する必要があることが分かり，表 4 の項番 3 の機能を適用して除外日を設定した。
Y 氏は，R ソフトの導入によって，イベント情報，及び設定されたしきい値が記録され，出力できることから，監視チームが行う （ウ）イベント情報を記録する作業の負担を減らすことが可能であると判断した。 Y 氏は，R ソフト導入前の監視チームの運用業務工数について，調査を進めた。調査の過程で，過去に業務影響有インシデントが数回発生していたことが分かった。監視システムのリソース監視データを参照したところ，当該インシデントが発生しなかった日と同じ曜日，同じ時間帯の CPU 使用率は 50％程度であったが，当該インシデントの発生日は，CPU 使用率 70％の状態が 1 時間継続し，その後 CPU 使用率は 80％超に上昇して監視システムがしきい値超えを検知した。CPU 使用率は上昇を続け，監視チームは最初のしきい値超えの検知から 10 分後にインシデント対応プロセスを開始していた。
Y 氏は，このような事象に対しては，R ソフトを導入することで，（エ）業務影響有インシデント発生の兆候を早期に発見できると考え，業務量を一時的に抑制してもらうなど利用者の協力を得ることで，業務影響有インシデント発生の未然防止も行うことができると考えた。