سقوط المعلومات: تعلم التمثيلات المثلى من خلال حساب ضوضائي

خسارة الانتروبيا المتقاطع المستخدمة عادة في التعلم العميق مرتبطة ارتباطًا وثيقًا بالخصائص المحددة للتمثيلات المثلى، لكنها لا تفرض بعض الخصائص الرئيسية. نوضح أنه يمكن حل هذه المشكلة من خلال إضافة حقل تنظيم، والذي يرتبط بدوره بحقن ضوضاء مضاعفة في تنشيطات الشبكة العصبية العميقة، ومن الحالات الخاصة لذلك هي الممارسة الشائعة للسقوط. نوضح أن دالة الخسارة المنظمة لدينا يمكن تقليلها بفعالية باستخدام سقوط المعلومات، وهو تعميم للسقوط يرتكز على المبادئ النظرية للمعلومات التي تتكيف تلقائيًا مع البيانات ويمكنها استغلال هياكل ذات سعة محدودة بشكل أفضل. عندما تكون المهمة هي إعادة بناء المدخلات، نوضح أن دالة الخسارة لدينا تنتج مشفرًا تلقائيًا متغيرًا كحالة خاصة، مما يوفر صلة بين تعلم التمثيل، ونظرية المعلومات والاستدلال المتغير. أخيرًا، نثبت أنه يمكننا تعزيز إنشاء تمثيلات مفككة مثلى ببساطة من خلال فرض أولوية مفككة، وهي حقيقة تم ملاحظتها تجريبيًا في الأعمال الأخيرة. تجاربنا تؤكد البصيرة النظرية وراء طريقتنا، ونجد أن سقوط المعلومات يحقق أداءً عامًا مماثلاً أو أفضل من السقوط الثنائي، خاصة على النماذج الأصغر، لأنه يمكنه تعديل الضوضاء تلقائيًا لتناسب هيكل الشبكة، وكذلك لتناسب العينة الاختبارية.