Key points are not available for this paper at this time.
يلعب الانتباه دورًا حاسمًا في تجربة الرؤية البشرية. علاوة على ذلك، تم مؤخرًا إثبات أن الانتباه يمكن أن يلعب أيضًا دورًا مهمًا في سياق تطبيق الشبكات العصبية الاصطناعية على مجموعة متنوعة من المهام من مجالات مثل رؤية الكمبيوتر ومعالجة اللغة الطبيعية. في هذا العمل، نظهر أنه من خلال تعريف الانتباه بشكل صحيح للشبكات العصبية الالتفافية، يمكننا فعليًا استخدام هذا النوع من المعلومات من أجل تحسين أداء شبكة CNN الطالب بشكل كبير من خلال إجبارها على تقليد خرائط الانتباه لشبكة المعلم القوية. ولتحقيق ذلك، نقترح عدة طرق جديدة لنقل الانتباه، موضحين تحسينًا متسقًا عبر مجموعة متنوعة من مجموعات البيانات وهياكل الشبكات العصبية الالتفافية. الشيفرة والنماذج للتجارب الخاصة بنا متاحة على https://github.com/szagoruyko/attention-transfer
درس زاغورويكو وآخرون (مون) هذا السؤال.