最終更新日：
AIレッドチーミングとは、攻撃する側の立場からAIのシステムを試し、施した対策が働くかを確かめる評価の方法です。
AIセーフティ・インスティテュート（AISI）の「AIセーフティに関するレッドチーミング手法ガイド」は、AIのシステムの開発者や提供者が、施したリスクへの対策を攻撃者の視点から評価する手法として説明しています。生成AIを使ったシステムでは、プロンプトインジェクションで想定外の動きをさせられないか、機密の情報や本来の指示（システムプロンプト）を引き出せないか、不適切な出力をしないか、といった点を試します。
AIエージェントやRAGのように、外部の文章を読み込み、ツールを操作する仕組みでは、AIのモデルだけでなく、つながっているデータや与えた権限まで含めて確かめます。観点の整理には、OWASPの「OWASP Top 10 for LLM Applications 2025」や、AISIの「AIセーフティに関する評価観点ガイド」などが参考になります。
AIの出力は同じ入力でも変わることがあるため、試した範囲で問題が見つからなくても、問題がないことの証明にはなりません。モデルの更新やプロンプトの変更の後には、あらためて確かめます。攻撃に近いことを実際に行うため、範囲と手順、中止するときの連絡の方法を事前に書面で取り決めます。
関連する用語
- プロンプトインジェクションAIに読ませる文章に悪意のある指示を紛れ込ませ、本来の指示とは違う動きをさせる攻撃です。
- ガードレール生成AIやAIエージェントが、決められた範囲から外れた答えや操作をしないようにする、安全のための仕掛けです。
- ペネトレーションテスト攻撃者の立場で実際にシステムへの侵入を試み、目的の情報や権限に届くかを確かめる検査です。
- AIエージェント与えられた目的に向けて自分で手順を考え、ツールやほかのシステムを操作しながら作業を進めるAIです。