تكرر فقط مرة واحدة: تسريع التدريب العدائي من خلال المبدأ الأقصى

تحقق التعلم العميق نتائج رائدة في العديد من المهام في رؤية الكمبيوتر ومعالجة اللغة الطبيعية. ومع ذلك، أظهرت الأعمال الأخيرة أن الشبكات العميقة يمكن أن تكون عرضة للاهتزازات العدائية، مما أثار مشكلة جدية في قوة الشبكات العميقة. يُعتبر التدريب العدائي، الذي يتم صياغته عادةً كمشكلة تحسين قوية، وسيلة فعالة لتحسين قوة الشبكات العميقة. إحدى العيوب الرئيسية لخوارزميات التدريب العدائي الحالية هي العبء الحسابي الناتج عن إنشاء الأمثلة العدائية، والذي يكون عادةً أعلى بكثير من تدريب الشبكة. وهذا يؤدي إلى التكلفة الحسابية العامة التي لا تطاق للتدريب العدائي. في هذه الورقة، نوضح أن التدريب العدائي يمكن أن يُصاغ كلعبة تفاضلية في الزمن المنفصل. من خلال تحليل مبدأ بونترياغين الأقصى (PMP) للمشكلة، نلاحظ أن تحديث الخصم مرتبط فقط بمعلمات الطبقة الأولى من الشبكة. وهذا يلهمنا لتقييد معظم التقدم والتراجع ضمن الطبقة الأولى من الشبكة أثناء تحديثات الخصم. وهذا يقلل بشكل فعال من العدد الإجمالي للتقدم والتراجع الكاملين إلى واحدة فقط لكل مجموعة من تحديثات الخصم. لذلك، نشير إلى هذه الخوارزمية باسم YOPO (تكرر فقط مرة واحدة). تظهر التجارب العددية أن YOPO يمكن أن تحقق دقة دفاعية قابلة للمقارنة مع حوالي 1/5 ~ 1/4 من وقت GPU للخوارزمية المستخدمة في التدرج المشروع (PGD). تتوفر أكوادنا على https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once.