Key points are not available for this paper at this time.
لكي تكون الروبوتات مفيدة بشكل عام، يجب أن تكون قادرة على العثور على أجسام عشوائية وصفها الأشخاص (أي، أن تكون مدفوعة باللغة) حتى بدون تدريب مكلف على التنقل باستخدام بيانات مخصصة (أي، تنفيذ الاستدلال بدون تدريب). نستكشف هذه القدرات في إطار موحد: التنقل بدون تدريب المدفوع باللغة (L-ZSON). مستوحاة من النجاح الأخير لنماذج المفردات المفتوحة في تصنيف الصور، نستقصي إطارًا بسيطًا، CLIP على العجلات (CoW)، لتكييف نماذج المفردات المفتوحة مع هذه المهمة بدون أي تعديلات. لتقييم L-ZSON بشكل أفضل، نقدم مرجعية Pasturebenchmark، التي تأخذ في الاعتبار العثور على أجسام غير شائعة، وأجسام موصوفة بواسطة سمات مكانية وسمات مظهر، وأجسام مخفية موصوفة بالنسبة للأجسام المرئية. نجري دراسة تجريبية متعمقة من خلال نشر 22 قاعدة CoW عبر Habitat وRobothor وPasture مباشرة. في المجموع، نقوم بتقييم أكثر من 90 ألف حلقة تنقل ونكتشف أن (1) قواعد CoW غالبًا ما تكافح للاستفادة من أوصاف اللغة لكنها بارعة في العثور على أجسام غير شائعة. (2) توفر CoW بسيطة، مع تحديد الموضع القائم على CLIP والاستكشاف التقليدي - بدون أي تدريب إضافي - كفاءة تنقل تعادل أسلوب ZSON المتقدم المدرب على بيانات HabitatMp3d لمدة 500 مليون خطوة. توفر نفس CoW تحسينًا بنسبة 15.6 نقطة مئوية في النجاح مقارنةً بنموذج ZSON المتقدم ROBOTHOR. 1 1 لمزيد من الرموز والبيانات ومقاطع الفيديو، انظر cow.cs.columbia.edu/
درس غادر وزملاؤه هذا السؤال.