مولد تعليقات الصور من تسلسل إلى تسلسل

مؤخراً، حظيت توليد تعليقات الصور باهتمام كبير من مجتمع بحث الذكاء الاصطناعي (AI). تتبع معظم الأعمال الحالية نموذج الترجمة الآلية المشفر-المفكك لتوليد التعليقات تلقائياً للصور. ومع ذلك، استخدمت معظم هذه الأعمال الشبكة العصبية التلافيفية (CNN) كمشفر للصور والشبكة العصبية المتكررة (RNN) كمفكك لتوليد التعليق. في هذه الورقة، نقترح نموذجاً من تسلسل إلى تسلسل يستخدم RNN كمشفر للصور يتبع نموذج الترجمة الآلية المشفر-المفكك، بحيث يكون الإدخال للنموذج هو سلسلة من الصور تمثل الكائنات في الصورة. يتم ترتيب هذه الكائنات بناءً على ترتيبها في التعليقات. نحن نظهر نتائج النموذج على مجموعة بيانات Flickr30K ونقارن النتائج مع الأساليب الحديثة التي تستخدم نفس مجموعة البيانات. تخطى النموذج المقترح الأساليب الحديثة على جميع المقاييس.