PARIS3D: تقسيم الأجزاء ثلاثية الأبعاد القائم على التفكير باستخدام نموذج متعدد الأنماط كبير

لقد حسنت التقدمات الأخيرة في أنظمة الإدراك ثلاثي الأبعاد بشكل كبير قدرتها على أداء مهام التعرف البصري مثل التقسيم. ومع ذلك، لا تزال هذه الأنظمة تعتمد بشكل كبير على التعليمات البشرية الصريحة لتحديد الأهداف أو الفئات المستهدفة، مما يفتقر إلى القدرة على التفكير النشط وفهم النوايا الضمنية للمستخدمين. نقدم مهمة تقسيم جديدة تعرف بتقسيم الأجزاء القائم على التفكير لكائنات ثلاثية الأبعاد، وتهدف إلى إنتاج قناع تقسيم استنادًا إلى استفسارات نصية معقدة وضمنية حول أجزاء معينة من كائن ثلاثي الأبعاد. لتسهيل التقييم وعمليات القياس، نقدم مجموعة بيانات ثلاثية الأبعاد كبيرة تضم أكثر من 60 ألف تعليمات مرتبطة بالتقسيم الحقيقي المناسب للأجزاء، وتم إعدادها خصيصًا لتقسيم الأجزاء ثلاثية الأبعاد القائم على التفكير. نقترح نموذجًا قادرًا على تقسيم أجزاء الكائنات ثلاثية الأبعاد استنادًا إلى استفسارات نصية ضمنية وتوليد تفسيرات باللغة الطبيعية تتوافق مع طلبات تقسيم الكائنات ثلاثية الأبعاد. تظهر التجارب أن طريقتنا تحقق أداءً تنافسيا مع النماذج التي تستخدم استفسارات صريحة، مع القدرات الإضافية لتحديد مفاهيم الأجزاء، والتفكير بشأنها، وتكملتها بالمعرفة العالمية. كود المصدر، ومجموعة البيانات، والنماذج المدربة متاحة على https://github.com/AmrinKareem/PARIS3D.