Voisins Lisses sur des Graphes Enseignants pour l'Apprentissage Semi-Supervisé

Les méthodes d'auto-ensemblage récemment proposées ont atteint des résultats prometteurs dans l'apprentissage semi-supervisé profond, pénalisant les prédictions inconsistantes des données non étiquetées sous différentes perturbations. Cependant, elles ne considèrent que l'ajout de perturbations à chaque point de données individuel, tout en ignorant les connexions entre les échantillons de données. Dans cet article, nous proposons une méthode novatrice, appelée Voisins Lisses sur des Graphes Enseignants (SNTG). Dans SNTG, un graphe est construit sur la base des prédictions du modèle enseignant, c'est-à-dire l'auto-ensemble implicite de modèles. Ensuite, le graphe sert de mesure de similarité par rapport à laquelle les représentations des points voisins "similaires" sont apprises pour être lisses sur le manifold de basse dimension. Nous atteignons des résultats à la pointe de la technologie sur les benchmarks d'apprentissage semi-supervisé. Les taux d'erreur sont de 9,89 %, 3,99 % pour CIFAR-10 avec 4000 étiquettes, SVHN avec 500 étiquettes, respectivement. En particulier, les améliorations sont significatives lorsque le nombre d'étiquettes est réduit. Pour le MNIST non augmenté avec seulement 20 étiquettes, le taux d'erreur est réduit de 4,81 % à 1,36 %. Notre méthode montre également une robustesse face aux étiquettes bruitées.