マルチターンLLMインタラクションにおけるプロンプトリーク効果とブラックボックス防御の調査

大規模言語モデル（LLM）におけるプロンプトリークは、特に取得強化生成（RAG）システムにおいて重大なセキュリティとプライバシーの脅威をもたらします。しかし、マルチターンLLMインタラクションにおけるリークとその緩和戦略は、標準化された方法で研究されていません。本論文では、4つの異なるドメインと10のクローズドおよびオープンソースLLMに対するプロンプトリークに対するLLMの脆弱性を調査します。私たちのユニークなマルチターン脅威モデルは、LLMの媚びの効果を利用し、私たちの分析はLLMの応答におけるタスク指示と知識のリークを解剖します。マルチターン設定において、私たちの脅威モデルは平均攻撃成功率（ASR）を86.2%に引き上げ、GPT-4およびclaude-1.3で99%のリークを含みます。いくつかのブラックボックスLLM（Geminiなど）は、ドメインごとにリークに対する感受性が異なることがわかりました。これらは、医療ドメインと比較してニュースドメインで文脈知識をリークする可能性が高いです。私たちの実験では、RAGシナリオにおけるクエリリライターを含む6つのブラックボックス防御戦略の特定の効果を測定します。私たちの提案するマルチティアの防御の組み合わせは、ブラックボックスLLMに対してASRが5.3%であることを示しており、LLMセキュリティ研究の改善と将来的な方向性の余地があります。