生成AIの利用を監査する。ルールと運用のずれを見つける

生成AIの利用の監査では、社内のルールと実際の使われ方のずれを、認めたサービス、アカウント、入力する情報、出力の確認、記録の5つの観点で確かめます。目的は使い方を取り締まることではなく、ルールが現場で働いているかを確かめ、合っていない部分をルールと運用の両方から直すことです。

なぜ生成AIの利用を監査するのか

生成AIの利用ルールを作っても、配っただけで守られているとは限りません。業務に役立つほど、ルールの外で使われることも増えます。逆に、ルールが現場の仕事に合っていないために、使うべき場面で使われていないこともあります。

ルールの作り方は社内の生成AIの利用ルールの作り方で説明しました。この記事は、その次の段階として、ルールと運用のずれを見つける方法を扱います。AIの利用を組織として管理する考え方はAIガバナンスとも呼ばれ、監査はその点検の役割を担います。

監査の物差しは、何にするか

監査では、確かめるときの物差し（基準）を先に決めます。生成AIの利用では、主に次の3つを使います。

社内のルール

まず、自社で定めた利用ルールそのものです。「顧客の氏名を入力しない」「社外に出す文書は担当以外の一人が確かめる」のように、だれが何をするかまで書いてある項目ほど、守られているかを確かめやすくなります。「適切に使う」のような書き方しかない項目は、監査の前にルールの側を直す必要があることもあります。

AI事業者ガイドライン

総務省と経済産業省の「AI事業者ガイドライン」は、2026年3月31日に第1.2版が公表されています。AIを開発する事業者、提供する事業者、業務で利用する事業者のそれぞれに向けて取り組むべきことを整理しており、生成AIを業務で使う会社は、主に利用する事業者の立場で参照します。

出典：「AI事業者ガイドライン」掲載ページ（総務省）

個人情報保護委員会の注意喚起

個人情報保護委員会は、2023年6月2日に、生成AIサービスの利用に関する注意喚起を公表しました。個人情報を含む指示（プロンプト）を入力する場合は、利用目的の達成に必要な範囲かを十分に確かめること、入力したデータが応答の出力以外の目的、たとえばAIの学習に使われないかを確かめることなどを求めています。

出典：生成AIサービスの利用に関する注意喚起等について（個人情報保護委員会、2023年6月2日）

経済産業省の「システム監査基準」（2023年4月26日改訂）にもとづいて行う場合は、監査の目的、範囲、物差しを監査の計画の段階で依頼者と合意しておきます。

出典：システム監査基準（経済産業省、2023年4月26日）

5つの観点で、何を確かめるか

ルールの中身と、実際の様子を照らし合わせる観点を表にまとめます。

認めたサービスとアカウント

ネットワークの通信の記録や、経費の精算、端末に入っているアプリの一覧などから、認めていないサービスが使われていないかを確かめます。見つかった場合も、すぐに責めるのではなく、なぜそのサービスを使ったのかを聞くと、認めたサービスに足りない機能や、申請の手順の重さが分かることがあります。

アカウントは、法人の契約の管理画面で一覧を取り出し、在籍者の一覧と照らし合わせます。考え方はアクセス権の棚卸しと特権IDの管理の進め方と同じです。

入力する情報

入力の中身を一件ずつ確かめるのは現実的でないことが多いため、仕組みの設定と、聞き取りと、抜き取りを組み合わせます。法人の契約で入力したデータを学習に使わない設定になっているか、データの保存の期間はどうか、を管理画面で確かめます。あわせて、部署ごとに、どんな業務でどんな情報を入れているかを聞き取ります。

出力の確認

生成AIの出力には、もっともらしい誤り（ハルシネーション）が含まれることがあります。社外に出す文書、数字、法令や契約にかかわる内容について、人が元の資料にあたって確かめる手順がルールにある場合は、その手順が実際に行われているかを、いくつかの成果物をたどって確かめます。

記録

利用の記録が取れる契約か、取った記録をだれがどのくらいの頻度で見ているかを確かめます。記録を取っていても見ていなければ、ずれに気づく手段になりません。

監査は、どんな手順で進めるか

1. 目的と範囲を決める（全社か、特定の部署か。どのサービスまでか）
2. ルールと、契約・設定の資料を集める
3. 管理画面の記録、アカウントの一覧、通信の記録などを取り出す
4. 部署の担当に、実際の使い方を聞き取る
5. ルールと実際のずれを整理し、原因を考える
6. 結果と改善の提案をまとめ、依頼者に報告する

ずれの原因が、ルールを知らないことなのか、ルールが仕事に合っていないことなのかで、直し方は変わります。前者なら教育を、後者ならルールの見直しを提案します。

よく見つかるずれには、どんなものがあるか

監査の場面で見つかりやすいずれの例です。

• ルールでは認めたサービスに限っているが、部署ごとに別のサービスを契約している
• 法人の契約はあるが、個人のアカウントのほうが使い慣れているため、そちらで使われている
• 学習に使わない設定が、一部のアカウントや機能で有効になっていない
• 出力を確かめる手順はあるが、だれが確かめたかの記録が残っていない
• ルールの見直しの時期が決まっておらず、新しいサービスや機能が反映されていない

外部からの攻撃や、プロンプトインジェクションのような技術的なリスクへの備えは、生成AIのセキュリティで扱っています。監査の範囲に含めるかどうかは、計画の段階で決めます。

監査の結果を、どう生かすか

監査で見つかったずれは、ルールを直すきっかけにも、運用を直すきっかけにもなります。どちらで直すかを決めるときの考え方の例です。

生成AIのサービスと関係する指針は改定が続いているため、一度の監査で終わりにせず、ルールの見直しの時期にあわせて、同じ観点で確かめ直すことをおすすめします。前回の監査で見つかったずれが直っているかも、次の監査の確認点に入れておきます。改善の進め方は監査の指摘を改善につなげるで説明しています。

当社のご支援

アメリア・テクノロジーのシステム監査では、生成AIの利用ルールと、契約・設定・実際の使われ方を照らし合わせ、ずれと原因、改善の優先順位をご報告します。当社が開発・導入・運用に関わった仕組みは監査の対象にせず、ルールの見直しや改善の作業は、監査とは別の担当が行います。改善をどこに頼むかは、お客様が自由に決められます。