DevBench: معيار تطوير متعدد الوسائط لتعلم اللغة

ما مدى تشابه أو اختلاف مسارات التعلم لنماذج الرؤية-اللغة والأطفال؟ لقد حاولت الأعمال النمذجة الحديثة فهم الفجوة بين كفاءة البيانات للنماذج والبشر من خلال بناء نماذج مدربة على بيانات أقل، وخاصة البيانات الطبيعية المتعددة الوسائط. ومع ذلك، غالبًا ما يتم تقييم هذه النماذج على مقاييس مستوى البالغين، مع نطاق محدود في قدرات اللغة المختبرة، ودون مقارنة مباشرة مع البيانات السلوكية. نقدم DevBench، وهو معيار متعدد الوسائط يتكون من سبعة مهام لتقييم اللغة تغطي مجالات القدرة المعجمية والنحوية والدلالية، مع بيانات سلوكية من كل من الأطفال والبالغين. نقيم مجموعة من نماذج الرؤية-اللغة على هذه المهام، مقارنين النماذج والبشر ليس فقط من حيث الدقة ولكن أيضًا من حيث أنماط استجابتهم. عبر المهام، تظهر النماذج تباينًا في قربها من أنماط استجابة البشر، والنماذج التي تؤدي بشكل أفضل في مهمة ما تشبه أيضًا استجابات البشر السلوكية بشكل أكبر. نحن أيضًا ندرس مسار تطوير OpenCLIP خلال التدريب، ونجد أن التدريب الأكبر يؤدي إلى تقريبات أقرب إلى أنماط استجابة البالغين. وبالتالي، يوفر DevBench معيارًا لمقارنة النماذج مع تطوير اللغة لدى البشر. تسلط هذه المقارنات الضوء على الطرق التي تختلف بها عمليات تعلم اللغة للنماذج والبشر، مما يوفر رؤى حول نقاط الدخول لتحسين نماذج اللغة.