大規模言語モデルにおける対抗プロンプト検出：分類駆動アプローチ

大規模言語モデル（LLMs）は、自然言語理解と生成の向上により、人間とコンピュータの相互作用を大幅に進展させました。しかし、モデルの出力を操作するように設計された入力である対抗プロンプトに対する脆弱性は、重大な課題を提示します。本論文では、プロンプトの特徴とプロンプト応答の特徴の両方を活用して、対抗プロンプトを検出するための分類ベースのアプローチを紹介します。精度、適合率、再現率、F1スコアなどの主要な指標に基づいて、11の機械学習モデルを評価しました。結果は、畳み込みニューラルネットワーク–長短期記憶（CNN-LSTM）カスケードモデルが最良の性能を示し、特にプロンプト特徴を使用した際に、すべての対抗シナリオで97％を超える精度を達成したことを示しています。さらに、サポートベクターマシン（SVM）モデルはプロンプト応答特徴において最も優れた性能を発揮し、特にプロンプトタイプ分類タスクで際立っています。分類結果は、「ワードレベル」や「対抗接頭辞」のような特定の種類の対抗攻撃が、再現率とF1スコアの低さによって特に検出が困難であることを示しています。これらの発見は、より微妙な操作が検出メカニズムを回避できる可能性を示唆しています。一方で、「センテンスレベル」や「対抗挿入」といった攻撃は、挿入されたコンテンツを認識するモデルの効果により、識別が容易でした。自然言語処理（NLP）技術は、プロンプトとその対応する応答から意味的および構文的特徴を抽出することを可能にすることで、重要な役割を果たしました。これらの知見は、より信頼性の高い対抗プロンプト検出システムを構築するために、従来のアプローチと深層学習アプローチ、さらには高度なNLP技術を組み合わせる重要性を強調しています。