التقطيع الذاتي للتعليق على الصورة بعدد قليل من الصور

تطوير مجموعات البيانات الكبيرة لتعليق الصور مكلف، بينما وفرة الصور غير المصنفة ومجموعة النصوص يمكن أن تساعد في تقليل جهود التوضيح اليدوي. في هذه الورقة، ندرس مشكلة التعليق على الصورة بعدد قليل من الصور التي تتطلب فقط كمية صغيرة من أزواج الصور والملاحظات المصنفة. نقترح طريقة تقطيع ذاتي تعتمد على التجميع تتيح نماذج التعليق على الصور أن تُدرّب باستخدام صور وملاحظات غير مصنفة. يتكون التجميع من عدة نماذج أساسية مدربة باستخدام عينات بيانات مختلفة في كل تكرار. لتعلم من الصور غير المصنفة، نولد عدة ملاحظات زائفة باستخدام التجميع ونوزع أوزاناً مختلفة وفقًا لمستويات الثقة الخاصة بهم. لتعلم من الملاحظات غير المصنفة، نقترح طريقة بسيطة لكنها فعالة لتوليد الميزات الزائفة تعتمد على الانحدار التدريجي. تُستخدم الملاحظات الزائفة والميزات الزائفة من التجميع لتدريب النماذج الأساسية في التكرارات المستقبلية. الطريقة المقترحة عامة على نماذج ومجموعات بيانات مختلفة لتعليق الصور. تُظهر تجربتنا تحسينات كبيرة في الأداء وتوليد تعليقات ذات مغزى باستخدام فقط 1% من بيانات التدريب المرفقة. كود المصدر متاح على https://github.com/chenxy99/SD-FSIC.