Abstraction Sémantique : Compréhension de Scènes 3D en Monde Ouvert à Partir de Modèles Vision-Langage 2D

Nous étudions la compréhension de scènes 3D en monde ouvert, une famille de tâches qui nécessitent que les agents raisonnent sur leur environnement 3D avec un vocabulaire en ensemble ouvert et des entrées visuelles hors domaine - une compétence essentielle pour que les robots puissent opérer dans un monde 3D non structuré. À cette fin, nous proposons l'Abstraction Sémantique (SemAbs), un cadre qui dote les Modèles Vision-Langage 2D (VLMs) de nouvelles capacités spatiales 3D, tout en maintenant leur robustesse en zero-shot. Nous réalisons cette abstraction en utilisant des cartes de pertinence extraites de CLIP, et apprenons des compétences de raisonnement spatial et géométrique 3D au-dessus de ces abstractions de manière sémantiquement agnostique. Nous démontrons l'utilité de SemAbs sur deux tâches de compréhension de scènes 3D en monde ouvert : 1) compléter des objets partiellement observés et 2) localiser des objets cachés à partir de descriptions en langage. Les expériences montrent que SemAbs peut se généraliser à un vocabulaire, des matériaux/éclairages, des classes et des domaines (c'est-à-dire, des scans du monde réel) novateurs à partir de l'entraînement sur des données 3D synthétiques limitées. Le code et les données sont disponibles sur https://semantic-abstraction.cs.columbia.edu/