企業における生成AIの導入が加速する中、多くの組織でAI利用ポリシーの策定や、組織的なAIガバナンスの構築が進められています。しかし、利便性の裏では「機密情報の漏洩」や、LLM（大規模言語モデル）がもっともらしい嘘をつく「ハルシネーション」など、多岐にわたるセキュリティリスクへの対応が急務となっています。
中でも、AIシステムの脆弱性を突き、悪意のある操作を可能にする「プロンプトインジェクション」は、開発者や情報システム部門が最も警戒すべき脅威の一つです。
本記事では、プロンプトインジェクションの仕組みから、AIモデルを強固に守るための「10の具体的な対策」までを詳しく解説します。
まずは自社のセキュリティ状況を把握したい方に向けて、自社のセキュリティリスクを30問で手軽に把握できる「無料チェックシート」をご用意しました。記事とあわせてぜひご活用ください。
プロンプトインジェクションとは？企業のAIシステムに潜む脅威
プロンプトインジェクション攻撃とは、LLM（大規模言語モデル）に対して悪意のある指示（プロンプト）を入力することで、システムの制御を奪い、開発者が意図していない挙動を強制的に引き起こすサイバー攻撃の一種です。
従来のWebアプリケーションにおける「SQLインジェクション」や「OSコマンドインジェクション」のAI版とも言える脅威であり、AIの利便性を根底から揺るがす深刻な脆弱性として、警戒されています。
特に、企業の顧客対応チャットボットや、社内ドキュメント検索システム（RAG：検索拡張生成）などが標的になりやすく、以下のような重大なセキュリティインシデントに発展する危険性を秘めています。
- 機密情報や個人情報の漏洩
例：「システム設定や過去の顧客データをすべて出力せよ」という指示にAIが従ってしまう - 外部システムへの不正アクセス
例：AIを踏み台にして、連携しているデータベースやAPIを不正に操作される
プロンプトインジェクションの2つの手法
この攻撃は、悪意のある指示が「どこから入力されるか」によって、大きく以下の2つのタイプに大別されます。
1. 直接プロンプトインジェクション攻撃（Direct Prompt Injection）
- 攻撃者がチャット画面などのユーザーインターフェースから、直接AIに対して悪意のあるプロンプトを入力する手法です。
例として「脱獄（ジェイルブレイク）」は、AIに設定されている「元々のルール（システムプロンプト）」を上書きし、制限を回避して不正な操作や回答を行わせます。
2. 間接プロンプトインジェクション攻撃（Indirect Prompt Injection）
- 攻撃者はAIに直接指示を出すのではなく、LLMが参照する外部ソース（Webサイト、PDFファイル、データベースなど）に悪意のある指示を事前に仕込みます。
例としてAIがRAG（検索拡張生成）を通じてその外部情報を読み込んだ際、仕込まれた指示を「ユーザーからの命令」と誤認して実行してしまいます。これにより、ユーザー自身に自覚がないまま、AIが改ざんされた情報を出力したり、裏で不正な処理を実行するリスクが生じます。
企業が実践すべきAIセキュリティ「3つの多層防御」
プロンプトインジェクション攻撃は、自然言語（人間の言葉）の曖昧さを突く攻撃であるため、単一のセキュリティ対策だけで100%防ぎきることは不可能です。防御を強固にするためには、AIシステムのライフサイクルにおける「AI入口」「AI内部」「AI出口」という3つのポイントで、それぞれ異なるアプローチの対策を組み合わせる「多層防御（Defense in Depth）」の構築が不可欠となります。
どこか一つの関門が突破されても、次の関門で攻撃を食い止める。この構造を作ることで、システム全体の堅牢性は飛躍的に向上します。
AI入口対策（インプットの制御）
LLMにデータが渡る前の「水際」で攻撃を検知・遮断する対策です。
ユーザーが入力したプロンプトに悪意のある命令（「これまでの指示を無視せよ」など）が含まれていないか、またRAG（検索拡張生成）などで参照する外部のWebサイトやファイルに不審な指示が混入していないかを、事前に精査・無効化します。
AI内部対策（モデル・システムの堅牢化）
入口をすり抜けてしまった未知の攻撃に対し、AI自身に「持ちこたえさせる」ための対策です。
開発者が設定する「システムプロンプト（指示のベースライン）」の記述を工夫・強化し、悪意のある指示に安易に従わないようAIの行動規範を縛ります。また、より強固なLLMモデルへの変更や、ファインチューニングによるモデル自体の堅牢化もこれに該当します。
AI出口対策（アウトプットの監視）
万が一、AIが攻撃に屈して誤った挙動をしてしまった場合の「最後の砦」となる対策です。
LLMが生成した回答（アウトプット）をユーザーに表示する直前にフィルタリングし、企業の機密情報や個人情報、不適切な発言、あるいはシステムコマンドなどが含まれていないかを厳格に精査します。
対策の陳腐化を防ぐ「継続的な運用サイクル」
生成AIの技術や、それを標的にした攻撃手法（新たな脱獄プロンプトなど）は、日進月歩で進化しています。これまで有効だった防御策が、明日には通用しなくなることも珍しくありません。
そのため、多層防御の仕組みを一度構築して終わりにするのではなく、「最新の脅威トレンドのキャッチアップ」「定期的なペネトレーションテスト（擬似攻撃インシデントの実施）」「防御ルールの継続的なアップデート」といった、PDCAサイクルを回し続ける運用の仕組み作りが、企業のリスクマネジメントにおいて極めて重要です。
そして、この現場レベルのサイバーセキュリティ対策を形骸化させず、組織全体で持続可能なものにするために不可欠なのが「AIガバナンス」の確立です。技術的な防御策と組織的な管理体制（ガバナンス）を両輪で機能させて初めて、企業はリスクをコントロールし、安全に生成AIのメリットを最大化させることができます。
AIガバナンスについては以下の記事「大企業のAIガバナンス完全ガイド｜「AI事業者ガイドライン第1.2版」対応」でも詳しく解説しています。あわせてご参考にしてください。
【段階別】プロンプトインジェクション対策10選
AI開発者およびAI提供者が、AIのライフサイクル（データ前処理・開発・システムへの実装・提供）において講じ得る10の具体的な対策を、「内部」「入口」「出口」の3つのアプローチに分けて解説します。
AI内部対策（モデルとシステムの堅牢化）
AIモデルそのものや、システム設計の根本的な部分を強化し、悪意ある指示に「屈しない」基盤を作ります。
1. 学習データの精査（データ前処理・学習段階）
- 概要: 収集した学習データを事前に精査し、可能な限り機密情報や不適切なデータが含まれないようにします。
- 具体策: 自動化ツールによる一括フィルタリングに加え、セキュリティ教育を受けたレビュアーによる「人手の確認（ヒューマン・イン・ザ・ループ）」を併用することが極めて有効です。
2. LLM自体の堅牢性向上（開発段階）
- 概要: モデルそのものが悪意ある指示に反応しないよう、本質的な耐性を高めます。
- 具体策: 人間のフィードバックに基づく強化学習（RLHF）等を用いた「安全性アラインメント」による事後学習を行います。また、ユーザーの指示よりも開発者の指示を優先処理させる「指示の階層化（Instruction Hierarchy）」の実装も効果的です。
3. システムプロンプトの強化（システム実装段階）
- 概要: AIの「行動規範」となるシステムプロンプトに、厳格な制約事項やセキュリティ上の注意事項を定義します。
- 具体策: 禁止操作や範囲外の要求をされた場合は、曖昧な返答を避け、「REFUSE（拒否します）」と一言で応答させるなど、例外処理のルールを厳格に言語化しておきます。
4. 機密情報をシステムプロンプトから分離（システム実装段階）
- 概要: APIキー、アクセスパス、データベース名などの機密情報を、システムプロンプト内に直接記述（ハードコーディング）することを避けます。
- 具体策: これらはプロンプトから完全に分離し、外部システムで管理します。具体的には「環境変数」や「キー管理システム（KMS：Key Management Service）」の利用を徹底します。
AI入口対策（プロンプトと外部データの精査）
5. プロンプトの検証（提供段階）
- 概要: ユーザーが入力したプロンプトに、悪意のある指示や脱獄コードが含まれていないかを事前に検証します。
- 具体策: 特定の禁止ワードを弾く「ブロックリスト」の設置や、入力チェック専用の軽量AI（評価用モデル）を前段に配置する「ガードレール（Llama Guardなど）」を活用します。
6. プロンプトの無害化（提供段階）
- 概要: 入力されたテキストに対して、処理の段階でフィルタリングや構造的な変換（サニタイズ）を行います。
- 具体策: 不正な意図が疑われる文字列を無害な表現に置き換える、語順をシャッフルする、あるいは「無効化用の特殊トークン（デリミタ）」を挿入して、指示としての実行力を失わせます。
7. 外部参照データの検証（提供段階）
- 概要: 間接プロンプトインジェクションを防ぐため、外部データを読み込む前にその中身をチェックします。
- 具体策: RAG（検索拡張生成）等において、外部のWebサイト、PDF、ドキュメントを検索・参照する前に、データ内にスクリプトや悪意のある指示が埋め込まれていないかを自動スキャンします。
8. 外部参照データの分離（提供段階）
- 概要: LLMに対し、「ユーザーの指示（コマンド）」と「参照する外部データ（コンテキスト）」を明確に区別して認識させます。
- 具体策: 外部情報に対して、プロンプト内で専用の特殊タグ（例：
[EXTERNAL_DATA]）で囲う、あるいは情報の出所（ソースの信頼度）に応じた「信頼性レベル」をメタデータとして付与し、AIの誤認を防ぎます。
9. RAG用のデータおよびデータストアのアクセス制御（システム実装段階）
- 概要: ユーザーの権限を超えた情報が、RAGを通じて引き出されるリスクを防ぎます。
- 具体策: ユーザーのアクセス権限に応じて、データストアへのアクセスを厳格に制御します。ベクトルデータに権限タグ（メタデータ）を付与したアクセス制御や、マルチテナント構造を用いたインスタンスの完全分離を実施します。
AI出口対策（出力リスクの低減）
10. 出力データの検証（提供段階）
- 概要: LLMが生成した回答をユーザーに返却する直前で検閲し、情報漏洩や不適切発言を防ぎます。
- 具体策: 出力内容に「個人情報（PII）」「企業の機密データ」「システムコマンド」が含まれていないかを検証します。ここでもブロックリストによるキーワード検知や、ガードレール（出力側フィルター）を用いた事後検閲が極めて有効です。
まとめ：AI活用とセキュリティを両立するために
生成AIの活用は企業に大きな革新とメリットをもたらす一方で、AIエージェントの自律的な管理や、厳格なAI監査といった観点からも、強固なセキュリティ対策はもはや避けて通れません。
巧妙化するプロンプトインジェクションの脅威から自社のシステムを守るためには、今回ご紹介した「10の具体的な対策」を開発・運用フェーズに組み込み、「入口・内部・出口」を包括した多層防御を構築することが極めて重要です。
企業には利便性の追求だけでなく、生成AIによる情報漏洩や著作権侵害といった新たなリスクへの対策が求められます。そのため、「安全なAI運用のための社内規定を整備したい」「組織的なリスク管理を強化したい」と考える企業が増えてきています。
LRMでは専門チームが貴社の信頼性を守る強固な「AIガバナンス体制」の確立を支援いたします。社内規定の策定から運用ルールの定着までサポートいたします。
まずはお気軽にLRMまでご相談ください。
