Key points are not available for this paper at this time.
ظهر مفهوم الإجابة على الأسئلة البصرية (VQA) كمشكلة مهمة تمتد عبر رؤية الكمبيوتر ومعالجة اللغة الطبيعية والذكاء الصناعي (AI). في VQA التقليدي، يمكن للمرء أن يطرح أسئلة حول صورة يمكن الإجابة عليها فقط بناءً على محتواها. على سبيل المثال، بالنظر إلى صورة تحتوي على أشخاص، قد يكون سؤال VQA النموذجي حول عدد الأشخاص في الصورة. مؤخرًا، هناك اهتمام متزايد في الإجابة على أسئلة تتطلب معرفة شائعة تتعلق بأسماء شائعة (مثل: القطط، الكلاب، الميكروفونات) الموجودة في الصورة. على الرغم من هذا التقدم، لم يتم تناول المشكلة المهمة المتعلقة بالإجابة على أسئلة تتطلب معرفة عالمية حول الكيانات المسماة (مثل: باراك أوباما، البيت الأبيض، الأمم المتحدة) في الصورة في الأبحاث السابقة. نحن نتناول هذه الفجوة في هذه الورقة، ونقدم KVQA - أول مجموعة بيانات لمهمة الإجابة على الأسئلة البصرية المعتمدة على المعرفة (العالمية). تتكون KVQA من 183K من أزواج الأسئلة والأجوبة التي تتضمن أكثر من 18K من الكيانات المسماة و24K من الصور. تتطلب الأسئلة في هذه المجموعة بيانات متعددة الكيانات، ومتعددة العلاقات، والتفكير المتعدد الخطوات عبر رسوم المعرفة الكبيرة (KG) للوصول إلى إجابة. على حد علمنا، تعتبر KVQA أكبر مجموعة بيانات لاستكشاف VQA عبر KG. علاوة على ذلك، نقدم أيضًا أداءً أساسيًا باستخدام طرق متطورة على KVQA.
دراسة غشام وآخرون (الأربعاء)، تناولوا هذا السؤال.