من MNIST إلى ImageNet والعودة: تقييم التعلم المستمر المنهجي

الملخص التعلم المستمر (CL) هو واحد من أكثر الاتجاهات وعدًا في أبحاث التعلم الآلي الحديثة. يهدف إلى تجاوز الافتراضات الكلاسيكية في التعلم الآلي وتطوير نماذج واستراتيجيات تعلم تظهر قدرة عالية على التكيف في بيئات ديناميكية. يُحقق هذا الهدف بتصميم استراتيجيات تشجع في الوقت نفسه على دمج المعرفة الجديدة وتفادي نسيان المعرفة السابقة. يتجزأ مجال أبحاث CL إلى عدة بروتوكولات تقييم تعلم تشمل مهام تعلم مختلفة، مجموعات بيانات متنوعة، ومقاييس تقييم متعددة. بالإضافة إلى ذلك، فإن المعايير المعتمدة حتى الآن لا تزال بعيدة عن تعقيد السيناريوهات الواقعية، وغالبًا ما تُصمم لإبراز قدرات معينة لاستراتيجيات محددة. في هذا السياق، يصعب تقييم النماذج والاستراتيجيات بموضوعية ووضوح. في هذا العمل، نسد هذه الفجوة في CL على بيانات الصور من خلال تقديم معيارين جديدين لـ CL يشملان مهامًا متغايرة من ست مجموعات بيانات للصور، بمستويات تعقيد وجودة مختلفة. هدفنا هو تقييم استراتيجيات CL المتقدمة الحالية بشكل عادل على أرضية مشتركة أقرب إلى سيناريوهات العالم الحقيقي المعقدة. نُنظم معاييرنا أيضًا بحيث تُعرض المهام بترتيب تصاعدي وتنازلي من حيث التعقيد — وفقًا لمنهج تعليمي — لتقييم قدرة النماذج الحالية على استغلال الهيكل عبر المهام. نولي اهتمامًا خاصًا لتوفير بروتوكول تقييم صارم وقابل لإعادة الإنتاج لمجتمع CL لقياس قدرة النموذج على التعميم وعدم النسيان أثناء التعلم. علاوة على ذلك، نقدم تقييمًا تجريبيًا واسع النطاق يظهر أن استراتيجيات CL الشائعة، عند تحديها بمعاييرنا المقترحة، تُظهر أداءً دون المستوى، ومستويات عالية من النسيان، وقدرة محدودة على الاستفادة الفعالة من ترتيب المهام المنهجي. نعتقد أن هذه النتائج تُبرز الحاجة إلى مقارنات دقيقة في أبحاث CL القادمة وتمهد الطريق لتصميم استراتيجيات جديدة قادرة على التعامل مع سيناريوهات أكثر تعقيدًا.