Reconnaissance des matériaux à partir de l'apparence locale dans un contexte global

La reconnaissance des matériaux s'est avérée être un problème difficile en raison de la grande variation d'apparence au sein et entre les catégories. Le contexte global de l'image, tel que l'endroit où se trouve le matériau ou quel objet il compose, peut être crucial pour reconnaître le matériau. Cependant, les méthodes existantes fonctionnent sur une fusion implicite des matériaux et du contexte en utilisant de grands champs réceptifs comme entrée (c'est-à-dire, de grands morceaux d'image). De nombreuses méthodes récentes de reconnaissance des matériaux traitent les matériaux comme un autre ensemble d'étiquettes, au même titre que les objets. Les matériaux sont cependant fondamentalement différents des objets, car ils n'ont aucune forme inhérente ni extension spatiale définie. Les approches qui ignorent cela ne peuvent tirer parti que d'un contexte implicite limité tel qu'il apparaît pendant l'entraînement. Nous montrons plutôt que reconnaître les matériaux uniquement à partir de leur apparence locale et intégrer des indices contextuels globaux reconnus séparément, y compris des objets et des lieux, conduit à une reconnaissance des matériaux dense, par pixel, supérieure. Nous y parvenons en entraînant un réseau de reconnaissance des matériaux entièrement convolutionnel de bout en bout avec uniquement une supervision de catégorie de matériau. Nous intégrons des estimations d'objets et de lieux à ce réseau à partir de CNN indépendants. Cette approche évite la nécessité de préparer une quantité de données d'entraînement impraticablement grande pour couvrir l'espace produit des matériaux, objets et scènes, tout en tirant pleinement parti des indices contextuels pour la reconnaissance dense des matériaux. De plus, nous réalisons une analyse détaillée des effets de la granularité du contexte, de la résolution spatiale et du niveau du réseau auquel nous introduisons le contexte. Sur une base de données de matériaux récemment introduite, comprehensive et diversifiée Schwartz2016, nous confirmons que notre méthode atteint une précision à la pointe de la technologie avec une quantité de données d'entraînement significativement inférieure par rapport aux méthodes précédentes.