Comparaisons visuelles fines à l'aide de l'apprentissage local

Étant donné deux images, nous voulons prédire laquelle présente un attribut visuel particulier plus que l'autre, même lorsque les deux images sont assez similaires. Les méthodes d'attribut relatif existantes reposent sur des fonctions de classement global ; pourtant, il est rare que les indices visuels pertinents pour une comparaison soient constants pour toutes les données, ni que la perception humaine de l'attribut permette nécessairement un ordre global. Pour résoudre ces problèmes, nous proposons une approche d'apprentissage local pour des comparaisons visuelles fines. Étant donné une nouvelle paire d'images, nous apprenons un modèle de classement local en temps réel, en utilisant uniquement des comparaisons d'entraînement analogues. Nous montrons comment identifier ces paires analogues en utilisant des métriques apprises. Avec des résultats sur trois ensembles de données difficiles - y compris un grand nouvel ensemble de données élaboré pour des comparaisons fines - notre méthode surpasse les méthodes de pointe pour la prédiction d'attributs relatifs.