ABM: الانتباه قبل التلاعب

تظهر نماذج الرؤية واللغة (VLMs) قدرات واعدة في التعميم والقدرة على التنفيذ بدون تدريب، مما يوفر حلاً محتملاً لعدم جدوى وتكلفة تمكين الروبوتات من فهم تعليمات البشر المتنوعة ودلالات المشهد في العالم الحقيقي. تشرك الأساليب الحالية التمثيلات الدلالية من نماذج VLMs المدربة مسبقاً مع تعلم السياسات بشكل مباشر. ومع ذلك، فإن هذه الأساليب محدودة بالبيانات المعلَّمة التي تم تعلمها، مما يؤدي إلى ضعف القدرة على التعميم تجاه التعليمات والأشياء غير المرئية. لمعالجة هذه المحدودية، نقترح طريقة بسيطة تُدعى "الانتباه قبل التلاعب" (ABM)، التي تستفيد بالكامل من المعرفة الكائنية المرمزة في CLIP لاستخراج معلومات حول الهدف المرصود في الصورة. تقوم بإنشاء حقل قناع كائن، يعمل كتمثيل أفضل للهدف للتمييز بين التأسيس البصري وتوقع الفعل واكتساب مهارات التلاعب المحددة بشكل فعّال. ندرب ABM على 8 مهام من RLBench و2 من المهام الواقعية عبر تقنيات النسخ السلوكي. تُظهر التجارب الشاملة أن طريقتنا تتفوق بشكل كبير على الأسس في إعدادات تجارب التعميم بدون تدريب والتكوين.