الألغاز البصرية: تحدي الفطرة السليمة والمعرفة العالمية لنماذج الرؤية واللغة الكبيرة

تخيل مشاهدة شخص يحك ذراعه؛ لفهم السبب، سيكون من الضروري وجود سياق إضافي. ومع ذلك، فإن رؤية بعوضة قريبة ستقدم على الفور تفسيرًا محتملًا لإزعاج الشخص، مما يخفف من الحاجة إلى مزيد من المعلومات. توضح هذه المثال كيف يمكن أن تتحدى الإشارات البصرية الدقيقة مهاراتنا الإدراكية وتظهر تعقيد تفسير السيناريوهات البصرية. لدراسة هذه المهارات، نقدم ألغاز بصرية، وهي معيار يهدف لاختبار نماذج الرؤية واللغة على الألغاز البصرية التي تتطلب الفطرة السليمة والمعرفة العالمية. يتكون المعيار من 400 لغز بصري، كل منها يحتوي على صورة فريدة تم إنشاؤها بواسطة مجموعة متنوعة من نماذج النص إلى الصورة، سؤال، إجابة صحيحة، تلميح نصي، ونسبة. يكشف التقييم البشري أن النماذج الحالية تتخلف بشكل كبير عن أداء البشر، الذي يصل إلى 82% دقة، مع تصدر نموذج Gemini-Pro-1.5 بدقة 40%. يأتي معيارنا مع مهام تقييم آلي لجعل التقييم قابلاً للتوسع. تؤكد هذه النتائج على إمكانيات ألغاز بصرية كمورد قيم لتعزيز قدرات نماذج الرؤية واللغة في تفسير السيناريوهات البصرية المعقدة.