Réseau de Routage Intégré de Connaissance pour la Génération de Graphes de Scène

Comprendre une scène en profondeur implique non seulement de localiser/identifier des objets individuels, mais nécessite également d'inférer les relations et interactions entre eux. Cependant, comme la distribution des relations du monde réel est sérieusement déséquilibrée, les méthodes existantes donnent de mauvais résultats pour les relations moins fréquentes. Dans ce travail, nous découvrons que les corrélations statistiques entre les paires d'objets et leurs relations peuvent efficacement régulariser l'espace sémantique et rendre la prédiction moins ambiguë, et ainsi aborder correctement le problème de la distribution déséquilibrée. Pour ce faire, nous intégrons ces corrélations statistiques dans des réseaux de neurones profonds pour faciliter la génération de graphes de scène en développant un Réseau de Routage Intégré de Connaissance. Plus précisément, nous montrons que les corrélations statistiques entre les objets apparaissant dans les images et leurs relations peuvent être explicitement représentées par un graphe de connaissance structuré, et un mécanisme de routage est appris pour propaguer des messages à travers le graphe afin d'explorer leurs interactions. De nombreuses expériences sur le large jeu de données Visual Genome démontrent la supériorité de la méthode proposée par rapport aux concurrents actuels à la pointe de la technologie.