PromptRobust: 対抗プロンプトに対する大規模言語モデルの堅牢性評価に向けて

学界や産業界での大規模言語モデル（LLMs）への依存度が高まる中、プロンプトに対する堅牢性の包括的理解が必要とされています。この重要なニーズに応えるために、我々はLLMsの対抗プロンプトに対するレジリエンスを測定するために設計された堅牢性ベンチマーク「PromptRobust」を導入します。本研究では、文字、単語、文、意味の複数レベルにわたるプロンプトをターゲットとするさまざまな対抗テキスト攻撃を使用します。タイポや同義語のようなユーザーの誤りを模倣するように作成された対抗プロンプトは、わずかな偏差がLLMの結果にどのように影響を与えるかを評価し、意味の整合性を維持します。これらのプロンプトは、感情分析、自然言語推論、読解力、機械翻訳、数学問題解決を含む多様なタスクで使用されます。私たちの研究では、4,788の対抗プロンプトが生成され、8つのタスクと13のデータセットにわたって綿密に評価されました。我々の発見は、現代のLLMsが対抗プロンプトに対して堅牢でないことを示しています。さらに、プロンプトの堅牢性とその転送可能性の背後にある謎を理解するための包括的な分析を提供します。そして、研究者や日常のユーザーにとって有益なプロンプトの構成に関する洞察に満ちた堅牢性分析と実用的な推奨を提供します。