Représentation d'image hautement compressée pour la classification et la récupération de contenu

Dans cet article, nous proposons une nouvelle méthode de représentation d'images utilisant des caractéristiques hautement compressées pour la classification et la récupération de contenu d'image – appelée PCA-ResFeats. Elles sont obtenues en fusionnant des caractéristiques de haut et de bas niveau à partir des sorties des blocs résiduels ResNet-50 et en leur appliquant une analyse en composants principaux, ce qui entraîne une réduction significative de la dimensionnalité. De plus, en appliquant une compression en virgule flottante, nous parvenons à réduire la mémoire nécessaire pour stocker une seule image jusqu'à 1 200 fois par rapport aux images jpg et 220 fois par rapport aux caractéristiques obtenues par simple fusion de sortie de ResNet-50. En conséquence, la représentation d'une seule image du jeu de données peut être aussi faible que 35 octets en moyenne. En comparaison avec les résultats de classification sur des caractéristiques de la fusion du dernier bloc résiduel ResNet-50, nous atteignons une précision comparable (pas pire de cinq points de pourcentage), tout en préservant une compression des données de deux ordres de grandeur. Nous avons également testé notre méthode dans la tâche de récupération d'images basée sur le contenu, obtenant de meilleurs résultats que d'autres méthodes connues utilisant des caractéristiques rares. De plus, notre méthode permet la création de résumés concis du contenu d'image, ce qui peut trouver de nombreuses applications dans les bases de données.