この記事の要点
- 生成AIのリスクは、入力した情報の漏えい、答えに含まれる情報の漏えい、外部の文章による乗っ取りに分けて考えます。
- プロンプトインジェクションは完全には防げないため、権限を絞り、重要な操作の前に人が確かめる設計で被害を小さくします。
- 利用のルール、記録の確認、定期的な試験を続け、仕組みと運用の両面で備えます。
生成AIのセキュリティで、まず備えたいのは情報の漏えいとプロンプトインジェクションの2つです。どちらも、従来のシステムの対策だけでは防ぎきれず、AIに渡す情報と権限の設計、人が確かめる手順の組み込みが要ります。
IPA（情報処理推進機構）が2026年1月29日に発表した「情報セキュリティ10大脅威 2026」では、組織向けの3位に「AIの利用をめぐるサイバーリスク」が入りました。AIへの理解不足による意図しない情報の流出や、AIの出力を確かめずに使うことによる問題などが挙げられています。
出典：プレス発表「情報セキュリティ10大脅威 2026」を決定（IPA、2026年1月29日）
OWASP Top 10 for LLM Applications とは
OWASP Top 10 for LLM Applications とは、アプリケーションのセキュリティに取り組む国際的な非営利の団体である OWASP のプロジェクトが、LLMを使うアプリケーションの主なリスクを10項目にまとめたものです。2026年10月時点の最新は2025年版です。
| 番号 | 項目 | 内容 |
|---|---|---|
| LLM01 | Prompt Injection | 入力や読み込んだ文章でAIの振る舞いを変えられる |
| LLM02 | Sensitive Information Disclosure | 機密や個人の情報が答えに含まれて漏れる |
| LLM03 | Supply Chain | 外部のモデル・データ・部品に問題が紛れ込む |
| LLM04 | Data and Model Poisoning | 学習や参照のデータに細工をされる |
| LLM05 | Improper Output Handling | AIの出力を検査せずにほかの処理に渡す |
| LLM06 | Excessive Agency | AIに必要以上の権限や機能を与える |
| LLM07 | System Prompt Leakage | AIへの設定の指示が漏れる |
| LLM08 | Vector and Embedding Weaknesses | RAGの検索の仕組みの弱さを突かれる |
| LLM09 | Misinformation | もっともらしい誤った情報を出す |
| LLM10 | Unbounded Consumption | 利用が膨らみ、費用や負荷が過大になる |
出典：OWASP Top 10 for LLM Applications 2025（OWASP Gen AI Security Project）
項目の詳しい説明はOWASP Top 10の用語集もご覧ください。Webシステム全般の対策はWebシステムのセキュリティ対策の基本で扱っています。
情報の漏えいを防ぐ
情報の漏えいは、入力の側と出力の側に分けて対策します。
入力の側：社員がAIに入れる情報
社員が業務の情報を生成AIのサービスに入力すると、契約の条件によっては、入力が提供元のモデルの学習に使われたり、提供元に保存されたりします。法人向けの契約で、学習への利用の有無と保存の期間を確かめ、入力してよい情報の範囲を社内のルールで決めます。
個人情報保護委員会は、個人情報取扱事業者が個人情報を含む指示を入力する場合は、利用目的の範囲内かを確かめること、個人データが応答の出力以外の目的で扱われる場合は法の規定に違反する可能性があるため、提供元が機械学習に使わないことなどを確かめることを求めています。
出典：生成AIサービスの利用に関する注意喚起等について（個人情報保護委員会、2023年6月2日）
出力の側：AIの答えに含まれる情報
社内の文書を参照するRAGでは、使う人が本来読めない文書の内容が答えに出るおそれがあります。検索の時点で、その人に閲覧の権限がある文書だけを対象にします。AIへの設定の指示に、パスワードや接続の情報、知られて困る判断の基準を書き込まないことも基本です。設定の指示は、聞き出される前提で書きます。
プロンプトインジェクションに備える
プロンプトインジェクションとは、AIに読ませる文章に悪意のある指示を紛れ込ませ、本来の指示と違う動きをさせる攻撃です。利用者が直接入力する場合のほか、メールやWebのページ、受け取った文書に指示を仕込む間接的な形があります。
OWASP は、プロンプトインジェクションを確実に防ぐ方法があるかは明らかでないとしています。そのため、入り込まれても被害が小さく済む設計を重ねます。
プロンプトインジェクションの2つの形
直接の形
間接的な形
OWASP は、確実に防ぐ方法があるかは明らかでないとしています。そのため、入り込まれても被害が小さく済む設計を重ねます
- AIに与える権限と使える道具を、作業に要る範囲に絞る
- 外部から読み込んだ文章は、指示ではなく資料として区別して渡す
- 送信・支払い・削除・外部への公開など、取り消せない操作の前に人が承認する
- AIの出力を、ほかのシステムに渡す前に検査する
- AIが何を読み、何をしたかの記録を残す
入力と出力を検査する仕組みはガードレールと呼ばれます。1つの仕組みに頼らず、何重かに備えるのが基本です。
AIエージェントでは影響が大きくなる
自分で道具を使って作業を進めるAIエージェントは、乗っ取られたときの影響が大きくなります。OWASP は、AIエージェントに特有のリスクをまとめた「OWASP Top 10 for Agentic Applications for 2026」を2025年12月9日に公表しています。
出典：OWASP Top 10 for Agentic Applications for 2026（OWASP Gen AI Security Project、2025年12月9日）
運用で続けること
仕組みを整えた後も、運用で続ける対策があります。
- 社内の利用ルールを決め、教育する。作り方は社内の生成AIの利用ルールの作り方をご覧ください
- 利用の記録を定期的に確かめ、想定外の使われ方や大量の利用に気づけるようにする
- 攻撃する側の立場で試す（レッドチーミング）。公開の前と、大きな変更の後に行う
- 使っている外部のモデル、部品、サービスの更新と提供条件の変更を追う
生成AIの技術と攻撃の手口は変わり続けるため、一度の対策で終わらせず、点検と見直しをくり返すことが大切です。
当社のご支援
アメリア・テクノロジーは、扱う情報の重要さに合わせて、利用するAIの基盤、データの保存先、アクセスの権限を設計します。社内の利用ルールづくりはAI・DXコンサルティング、安全に配慮したAIの開発はソリューション提供、いまのシステムとのつなぎ込みと運用はAIインテグレーションをご覧ください。
- 生成AI
- セキュリティ
- プロンプトインジェクション
- OWASP
この記事に出てくる用語
関連する法令・指針（参考情報）
- 法令
個人情報保護法 第18条（利用目的による制限）
あらかじめ本人の同意を得ないで、特定した利用目的の達成に必要な範囲の外で個人情報を取り扱ってはなりません。法令にもとづく場合など、例外も定められています。
- 指針
個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」（2023年6月2日）
生成AIサービスを使うときの個人情報の扱いの注意点です。事業者には、個人情報を含む指示の入力が利用目的の達成に必要な範囲内かを十分に確かめることや、入力した個人データをサービスの提供者が機械学習に使わないことなどを確かめることを求めています。
法令は2026年10月21日時点の内容です。要旨は当社がまとめたもので、条文・判決・指針の全文ではありません。個別の事案への当てはめは、弁護士・社会保険労務士などの専門家にご確認ください。表記の決まりは法令・指針の参考情報と凡例をご覧ください。
このコラムは一般的な情報の提供を目的としたもので、個別の状況への助言ではありません。製品・サービスの名前と内容は、記事の更新日の時点のものです。