--- title: "生成AI・LLMアプリのセキュリティ診断で確かめること｜アメリア・テクノロジー株式会社" url: https://www.ameliatechnology.co.jp/blog/llm-app-security-assessment/ description: "生成AIを組み込んだアプリの診断では、従来のWebの脆弱性に加えて、プロンプトインジェクション、RAGの権限、AIエージェントの権限と道具、設定の指示の漏えい、費用の膨らみを確かめます。OWASPとAISI・総務省の資料をもとに整理します。" updated: 2026-10-23 publisher: "アメリア・テクノロジー株式会社" --- # 生成AI・LLMアプリのセキュリティ診断で確かめること 生成AIを組み込んだアプリの診断では、従来のWebの脆弱性に加えて、プロンプトインジェクション、RAGの権限、AIエージェントの権限と道具、設定の指示の漏えい、費用の膨らみを確かめます。OWASPとAISI・総務省の資料をもとに整理します。 2026.10.23 [AIの技術](https://www.ameliatechnology.co.jp/blog/category/tech/) 執筆 [石田誠](https://www.ameliatechnology.co.jp/blog/author/ishida/)（グループCTO） ## この記事の要点 - LLMを使うアプリの診断は、従来のWebの脆弱性診断に、OWASP Top 10 for LLM Applications 2025 の観点を重ねて行います。 - RAGでは使う人の閲覧の権限、AIエージェントでは与える権限と道具の範囲と、取り消せない操作の前の人の承認を確かめます。 - 一度の診断で終わらせず、モデルや設定の指示、つなぐ道具を変えたときに、もう一度確かめます。 生成AI・LLMを組み込んだアプリのセキュリティ診断では、Webアプリとしての脆弱性に加えて、AIに特有の弱点を確かめます。中心になるのは、外から指示を紛れ込ませる攻撃への耐え方、AIが読める情報とできる操作の範囲、費用や負荷の上限の3つです。 ## LLMアプリの診断は、何が違うのか LLMアプリも、画面、API、認証、データベースからなるWebアプリです。そのため、まずは従来の[脆弱性診断](https://www.ameliatechnology.co.jp/glossary/vulnerability-assessment/)の対象になります。そのうえで、AIが文章を読んで判断し、ときには道具を使って操作するという性質から、従来の診断だけでは見えにくい弱点が生まれます。 AISI（AIセーフティ・インスティテュート）の「AIセーフティに関する評価観点ガイド」（2026年10月時点の最新は第1.20版・2026年7月7日）は、評価の観点の一つに「セキュリティ確保」を挙げ、LLMシステムでは一般的なサイバーセキュリティに加えて、LLMシステムやAIエージェントのシステムに固有の脆弱性も考える必要があるとしています。評価の項目の例には、プロンプトインジェクションへの防護策があるか、RAGの検索先のアクセス権限の設定に不備がないか、処理に手間と費用のかかる入力をくり返されても、性能が落ちたりシステムが止まったりしない対策が取られているか、などが並んでいます。 出典：[AIセーフティに関する評価観点ガイド第1.20版（AISI、2026年7月7日）](https://aisi.go.jp/output/output_framework/guide_to_evaluation_perspective_on_ai_safety/) ## OWASP Top 10 for LLM Applications 2025 を観点にする 診断の観点の土台には、OWASP の「OWASP Top 10 for LLM Applications 2025」がよく使われます。LLMを使うアプリの主なリスクを10項目にまとめたもので、2026年10月時点の最新は2025年版です。項目の一覧は[生成AIのセキュリティ：情報漏えいとプロンプトインジェクション](https://www.ameliatechnology.co.jp/blog/genai-security/)に載せています。 診断では、項目ごとに「このアプリで起こり得るか」「起きたときに何が漏れ、何をされるか」を当てはめて、試す内容を決めます。たとえば、外部の文章を読み込まないアプリと、メールやWebのページを読み込んで要約するアプリでは、[プロンプトインジェクション](https://www.ameliatechnology.co.jp/glossary/prompt-injection/)で試す内容が変わります。 出典：[OWASP Top 10 for LLM Applications 2025（OWASP Gen AI Security Project）](https://genai.owasp.org/llm-top-10/) ## RAGでは、使う人の権限を確かめる 社内の文書を検索して答える[RAG](https://www.ameliatechnology.co.jp/glossary/rag/)では、使う人が本来読めない文書の内容が、答えに出てこないかを確かめます。診断では、権限の異なる複数のアカウントを用意し、ある人には見えないはずの文書の内容を、質問の仕方を変えて引き出せないかを試します。 確かめる点は、検索の時点で、その人に閲覧の権限がある文書だけを対象にしているかです。答えを出した後で見せない文書を消す作りでは、言い換えや要約の形で中身が漏れることがあります。文書の権限を変えたとき、検索の仕組みの側にも同じ変更が届くまでの時間差も確かめます。 ## AIエージェントでは、権限と道具を確かめる 自分で道具を使って作業を進める[AIエージェント](https://www.ameliatechnology.co.jp/glossary/ai-agent/)では、乗っ取られたときにできてしまうことの範囲が、そのまま被害の大きさになります。OWASP Top 10 for LLM Applications 2025 は、AIに必要以上の権限や機能を与えること（Excessive Agency）を項目の一つにしています。OWASP は、AIエージェントに特有のリスクをまとめた「OWASP Top 10 for Agentic Applications for 2026」も2025年12月9日に公表しています。 診断では、AIエージェントが使える道具とその権限の一覧を作り、作業に要らないものが含まれていないかを確かめます。つなぐ道具の範囲が広がるほど、確かめる範囲も広がります。そのうえで、AIに読ませる文章に指示を紛れ込ませ、想定していない道具を使わせたり、送信・支払い・削除・公開などの取り消せない操作を、人の承認を経ずに実行させたりできないかを試します。 AIエージェントの診断で確かめること - **道具と権限の一覧**：使える道具とその権限の一覧を作り、作業に要らないものが含まれていないかを確かめる - **紛れ込ませた指示**：AIに読ませる文章に指示を紛れ込ませ、想定していない道具を使わせられないかを試す - **取り消せない操作**：送信・支払い・削除・公開などを、**人の承認を経ずに**実行させられないかを試す つなぐ道具の範囲が広がるほど、確かめる範囲も広がります 出典：[OWASP Top 10 for Agentic Applications for 2026（OWASP Gen AI Security Project、2025年12月9日）](https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/) ## 設定の指示の漏えいと、費用の上限 AIへの設定の指示（システムプロンプト）は、聞き出される前提で書くのが基本です。診断では、設定の指示を引き出せるかを試し、引き出せた場合に、パスワードや接続の情報、知られて困る判断の基準が含まれていないかを確かめます。引き出せないことよりも、引き出されても困らない内容になっていることを重く見ます。 費用と負荷の上限も確かめます。LLMの利用料は使った量に応じて増えることが多いため、長い入力や手間のかかる依頼をくり返されると、費用が膨らんだり、ほかの利用者が使えなくなったりします。1回あたりの入力の長さ、利用者ごとの回数、1か月の費用に上限があるか、上限に近づいたときに担当者に知らせが届くかを見ます。 ## 公的な手引きを、あわせて参照する 診断の進め方を決めるときは、次の公的な資料も参照できます。 - AISI「AIセーフティに関するレッドチーミング手法ガイド」：攻撃する側の立場から、AIシステムに施した対策の効果を確かめる手法をまとめたものです。2026年10月時点の最新は第1.10版で、RAGを組み込んだAIシステムで行う例を詳しく説明しています - 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月27日）：AIに不正な出力をさせる、AIを組み込んだシステムを止める、といった攻撃を想定した技術的な対策をまとめたものです 出典：[AIセーフティに関するレッドチーミング手法ガイド（AISI）](https://aisi.go.jp/output/output_framework/guide_to_red_teaming_methodology_on_ai_safety/)／[「AIのセキュリティ確保のための技術的対策に係るガイドライン」の公表（総務省、2026年3月27日）](https://www.soumu.go.jp/menu_news/s-news/01cyber01_02000001_00282.html) ## 診断の時期と、くり返し 診断は、公開の前に加えて、モデルを切り替えたとき、設定の指示を大きく変えたとき、つなぐ道具やデータを増やしたときに行います。LLMの答えは同じ入力でも毎回同じとは限らないため、試す内容を決めて記録し、次の診断でも同じ内容を試せるようにしておくと、変化に気づきやすくなります。 診断は、試した範囲で見つかった問題を示すものです。問題が見つからなかったことは、問題がないことの保証にはなりません。入力と出力を検査する[ガードレール](https://www.ameliatechnology.co.jp/glossary/guardrails/)や、利用の記録の確認を組み合わせて、運用の中でも備えを続けます。 ## 当社のご支援 アメリア・テクノロジーの[セキュリティ診断と対策](https://www.ameliatechnology.co.jp/service/security/)では、生成AI・LLMアプリやAIエージェントを、OWASP と公的な資料の観点にもとづいて、書面で合意した範囲で診断し、見つかった問題を直すところまでご支援しています。社内の生成AIの使い方やルールを先に確かめたい場合は、無料の[生成AIの利用ルール診断](https://www.ameliatechnology.co.jp/diagnosis/ai-rules/)と[セキュリティの自己診断](https://www.ameliatechnology.co.jp/diagnosis/security/)をお使いください。 - 生成AI - セキュリティ - 脆弱性診断 - AIエージェント ## この記事に出てくる用語 - [生成AI](https://www.ameliatechnology.co.jp/glossary/generative-ai/) - [LLM（大規模言語モデル）](https://www.ameliatechnology.co.jp/glossary/llm/) - [脆弱性診断](https://www.ameliatechnology.co.jp/glossary/vulnerability-assessment/) - [Webアプリケーション](https://www.ameliatechnology.co.jp/glossary/web-application/) - [脆弱性](https://www.ameliatechnology.co.jp/glossary/vulnerability/) - [API](https://www.ameliatechnology.co.jp/glossary/api/) - [データベース](https://www.ameliatechnology.co.jp/glossary/database/) - [情報セキュリティ](https://www.ameliatechnology.co.jp/glossary/information-security/) ## 関連する法令・指針（参考情報） - 指針 総務省・経済産業省「AI事業者ガイドライン」（第1.2版（2026年3月31日）） AIを安全・安心に活用するため、AIの開発・提供・利用に関わる事業者が取り組む事項をまとめた指針です。事業者を「AI開発者」「AI提供者」「AI利用者」に分けて示しています。拘束力のない文書で、状況の変化に応じて更新されています。 [発行元の公式ページで開く](https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html) - 指針 AIセーフティ・インスティテュート（AISI）「AIセーフティに関するレッドチーミング手法ガイド」（第1.10版（2025年3月31日）） AIを使ったシステムに対して、攻撃者の視点から対策の有効性を確かめる「レッドチーミング」の進め方をまとめたガイドです。RAG を組み込んだシステムで行う例も説明しています。 [発行元の公式ページで開く](https://aisi.go.jp/output/output_framework/guide_to_red_teaming_methodology_on_ai_safety/) - 指針 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月27日） AIに不正な出力をさせる攻撃や、AIを組み込んだシステムを止める攻撃などへの技術的な対策をまとめたガイドラインです。 [発行元の公式ページで開く](https://www.soumu.go.jp/menu_news/s-news/01cyber01_02000001_00282.html) 法令は2026年10月21日時点の内容です。要旨は当社がまとめたもので、条文・判決・指針の全文ではありません。個別の事案への当てはめは、弁護士・社会保険労務士などの専門家にご確認ください。表記の決まりは[法令・指針の参考情報と凡例](https://www.ameliatechnology.co.jp/knowledge/legal/)をご覧ください。 この記事を書いた人 [石田誠](https://www.ameliatechnology.co.jp/blog/author/ishida/) グループCTO インターネットの黎明期から、ホスティング事業の立ち上げや、インフラ・セキュリティのプロジェクトに携わってきました。現在は、AWS・Azure へのクラウド移行の支援と、業務アプリケーションの要件定義から実装までを担っています。 このコラムは一般的な情報の提供を目的としたもので、個別の状況への助言ではありません。製品・サービスの名前と内容は、記事の更新日の時点のものです。 ## あわせて読みたい - [RAGの精度を上げるには：文書の分け方・検索・評価・権限](https://www.ameliatechnology.co.jp/blog/rag-accuracy/) - [つくったAIを直し続ける運用（LLMOps）の進め方](https://www.ameliatechnology.co.jp/blog/llmops/) - [生成AIのセキュリティ：情報漏えいとプロンプトインジェクション](https://www.ameliatechnology.co.jp/blog/genai-security/) [AIの技術のコラムを見る](https://www.ameliatechnology.co.jp/blog/category/tech/) [コラムの一覧に戻る](https://www.ameliatechnology.co.jp/blog/) ## 次の一歩 ### システムとAIの弱点を診断し、直す Web・クラウド・ネットワークと生成AIを使ったシステムを、書面で合意した範囲で診断し、見つかった問題を直すところまで受け持ちます。 [セキュリティ診断と対策を見る](https://www.ameliatechnology.co.jp/service/security/) ### まずは30分、オンラインで話してみる 何に使うかが決まっていない段階でも構いません。30分のオンライン相談は無料です。 [無料で相談する](https://www.ameliatechnology.co.jp/contact/) ## ご関心に合わせて、お選びください。 [情報を集めている方へ会社案内、AI開発の例、セキュリティ診断の報告書の見本をお送りします。資料をダウンロード](https://www.ameliatechnology.co.jp/download/)[課題が見えている方へオンラインで30分、お話をうかがいます。費用はかかりません。無料で相談する](https://www.ameliatechnology.co.jp/contact/)[進め方を決めたい方へ2〜4週間で、優先順位と計画をまとめるAI活用の診断です。診断について見る](https://www.ameliatechnology.co.jp/pricing/#diagnosis) --- 出典：アメリア・テクノロジー株式会社「生成AI・LLMアプリのセキュリティ診断で確かめること｜アメリア・テクノロジー株式会社」 https://www.ameliatechnology.co.jp/blog/llm-app-security-assessment/