生成AI・LLMアプリのセキュリティ診断で確かめること

生成AI・LLMを組み込んだアプリのセキュリティ診断では、Webアプリとしての脆弱性に加えて、AIに特有の弱点を確かめます。中心になるのは、外から指示を紛れ込ませる攻撃への耐え方、AIが読める情報とできる操作の範囲、費用や負荷の上限の3つです。

LLMアプリの診断は、何が違うのか

LLMアプリも、画面、API、認証、データベースからなるWebアプリです。そのため、まずは従来の脆弱性診断の対象になります。そのうえで、AIが文章を読んで判断し、ときには道具を使って操作するという性質から、従来の診断だけでは見えにくい弱点が生まれます。

AISI（AIセーフティ・インスティテュート）の「AIセーフティに関する評価観点ガイド」（2026年10月時点の最新は第1.20版・2026年7月7日）は、評価の観点の一つに「セキュリティ確保」を挙げ、LLMシステムでは一般的なサイバーセキュリティに加えて、LLMシステムやAIエージェントのシステムに固有の脆弱性も考える必要があるとしています。評価の項目の例には、プロンプトインジェクションへの防護策があるか、RAGの検索先のアクセス権限の設定に不備がないか、処理に手間と費用のかかる入力をくり返されても、性能が落ちたりシステムが止まったりしない対策が取られているか、などが並んでいます。

出典：AIセーフティに関する評価観点ガイド 第1.20版（AISI、2026年7月7日）

OWASP Top 10 for LLM Applications 2025 を観点にする

診断の観点の土台には、OWASP の「OWASP Top 10 for LLM Applications 2025」がよく使われます。LLMを使うアプリの主なリスクを10項目にまとめたもので、2026年10月時点の最新は2025年版です。項目の一覧は生成AIのセキュリティ：情報漏えいとプロンプトインジェクションに載せています。

診断では、項目ごとに「このアプリで起こり得るか」「起きたときに何が漏れ、何をされるか」を当てはめて、試す内容を決めます。たとえば、外部の文章を読み込まないアプリと、メールやWebのページを読み込んで要約するアプリでは、プロンプトインジェクションで試す内容が変わります。

出典：OWASP Top 10 for LLM Applications 2025（OWASP Gen AI Security Project）

RAGでは、使う人の権限を確かめる

社内の文書を検索して答えるRAGでは、使う人が本来読めない文書の内容が、答えに出てこないかを確かめます。診断では、権限の異なる複数のアカウントを用意し、ある人には見えないはずの文書の内容を、質問の仕方を変えて引き出せないかを試します。

確かめる点は、検索の時点で、その人に閲覧の権限がある文書だけを対象にしているかです。答えを出した後で見せない文書を消す作りでは、言い換えや要約の形で中身が漏れることがあります。文書の権限を変えたとき、検索の仕組みの側にも同じ変更が届くまでの時間差も確かめます。

AIエージェントでは、権限と道具を確かめる

自分で道具を使って作業を進めるAIエージェントでは、乗っ取られたときにできてしまうことの範囲が、そのまま被害の大きさになります。OWASP Top 10 for LLM Applications 2025 は、AIに必要以上の権限や機能を与えること（Excessive Agency）を項目の一つにしています。OWASP は、AIエージェントに特有のリスクをまとめた「OWASP Top 10 for Agentic Applications for 2026」も2025年12月9日に公表しています。

診断では、AIエージェントが使える道具とその権限の一覧を作り、作業に要らないものが含まれていないかを確かめます。つなぐ道具の範囲が広がるほど、確かめる範囲も広がります。そのうえで、AIに読ませる文章に指示を紛れ込ませ、想定していない道具を使わせたり、送信・支払い・削除・公開などの取り消せない操作を、人の承認を経ずに実行させたりできないかを試します。

出典：OWASP Top 10 for Agentic Applications for 2026（OWASP Gen AI Security Project、2025年12月9日）

設定の指示の漏えいと、費用の上限

AIへの設定の指示（システムプロンプト）は、聞き出される前提で書くのが基本です。診断では、設定の指示を引き出せるかを試し、引き出せた場合に、パスワードや接続の情報、知られて困る判断の基準が含まれていないかを確かめます。引き出せないことよりも、引き出されても困らない内容になっていることを重く見ます。

費用と負荷の上限も確かめます。LLMの利用料は使った量に応じて増えることが多いため、長い入力や手間のかかる依頼をくり返されると、費用が膨らんだり、ほかの利用者が使えなくなったりします。1回あたりの入力の長さ、利用者ごとの回数、1か月の費用に上限があるか、上限に近づいたときに担当者に知らせが届くかを見ます。

公的な手引きを、あわせて参照する

診断の進め方を決めるときは、次の公的な資料も参照できます。

• AISI「AIセーフティに関するレッドチーミング手法ガイド」：攻撃する側の立場から、AIシステムに施した対策の効果を確かめる手法をまとめたものです。2026年10月時点の最新は第1.10版で、RAGを組み込んだAIシステムで行う例を詳しく説明しています
• 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月27日）：AIに不正な出力をさせる、AIを組み込んだシステムを止める、といった攻撃を想定した技術的な対策をまとめたものです

出典：AIセーフティに関するレッドチーミング手法ガイド（AISI）／「AIのセキュリティ確保のための技術的対策に係るガイドライン」の公表（総務省、2026年3月27日）

診断の時期と、くり返し

診断は、公開の前に加えて、モデルを切り替えたとき、設定の指示を大きく変えたとき、つなぐ道具やデータを増やしたときに行います。LLMの答えは同じ入力でも毎回同じとは限らないため、試す内容を決めて記録し、次の診断でも同じ内容を試せるようにしておくと、変化に気づきやすくなります。

診断は、試した範囲で見つかった問題を示すものです。問題が見つからなかったことは、問題がないことの保証にはなりません。入力と出力を検査するガードレールや、利用の記録の確認を組み合わせて、運用の中でも備えを続けます。

当社のご支援

アメリア・テクノロジーのセキュリティ診断と対策では、生成AI・LLMアプリやAIエージェントを、OWASP と公的な資料の観点にもとづいて、書面で合意した範囲で診断し、見つかった問題を直すところまでご支援しています。社内の生成AIの使い方やルールを先に確かめたい場合は、無料の生成AIの利用ルール診断とセキュリティの自己診断をお使いください。