薄い空気から: データフリーの敵対的ロバストネス蒸留の探求

敵対的ロバストネス蒸留（ARD）は、小容量モデルの限られた敵対的ロバストネスの問題を解決し、敵対的トレーニング（AT）の高コストを最適化するための有望なタスクです。優れたロバスト性能にもかかわらず、既存のARD手法は、これらの手法が元のデータまたは類似の分布を持つ公開データに完全に依存しているため、高セキュリティの自然なシーンに展開するのが実用的ではありません。実際、これらのデータはほとんど常にプライベートであり、高いロバストネスを必要とするシーンに特有で独自なものです。これらの問題に対処するために、データに依存せずに小さく、簡単に展開可能なロバストモデルを訓練することを目指す困難だが重要なタスクであるデータフリーの敵対的ロバストネス蒸留（DFARD）を提案します。知識転送情報の上限が低いため、知識をより効率的に発掘し転送することが重要です。人間の教育に触発され、知識転送の効率を改善するためのプラグアンドプレイ型のインタラクティブ温度調整（ITA）戦略を設計し、より多くのデータ情報を保持するための適応型生成器バランス（AGB）モジュールを提案します。我々の方法は、パラメータのチューニングを大幅に回避するために適応的ハイパーパラメータを使用し、既存の技術の組み合わせを大幅に上回る成果を示します。同時に、我々の方法は複数のベンチマークにおいて安定し信頼性のあるパフォーマンスを達成します。