Rel3D : Une évaluation contrastive minimale pour ancrer les relations spatiales en 3D

Comprendre les relations spatiales (par exemple, "ordinateur portable sur la table") dans les entrées visuelles est crucial tant pour les humains que pour les robots. Les ensembles de données existants sont insuffisants en raison du manque d'informations 3D de vérité terrain de haute qualité à grande échelle, essentielles pour apprendre les relations spatiales. Dans cet article, nous comblons cette lacune avec Rel3D : le premier ensemble de données à grande échelle, annoté par des humains, pour les relations spatiales en 3D. Rel3D permet de quantifier l'efficacité des informations 3D pour prédire les relations spatiales à partir de données humaines à grande échelle. Nous proposons la collecte de données contrastives minimales : une méthode novatrice pour réduire le biais des ensembles de données. Les scènes 3D de notre ensemble de données se trouvent dans des paires contrastives minimales : deux scènes d'une paire sont presque identiques, une relation spatiale est valide dans l'une et échoue dans l'autre. Nous avons empiriquement constaté que les exemples contrastifs minimaux peuvent diagnostiquer des problèmes avec les modèles de détection actuels tout en conduisant à un entraînement économe en échantillons. Le code des données est disponible sur https://github.com/princeton-vl/Rel3D.