Vous menez, nous dépassons : Apprentissage de concepts vidéo sans effort grâce à l'exploitation conjointe de vidéos et d'images sur le Web

L'apprentissage de concepts vidéo nécessite souvent un grand ensemble d'échantillons d'entraînement. En pratique, cependant, l'acquisition d'étiquettes d'entraînement sans bruit avec des exemples positifs suffisants est très coûteuse. Une solution plausible pour la collecte de données d'entraînement est d'échantillonner à partir des vastes quantités d'images et de vidéos sur le Web. Une telle solution se motive par l'hypothèse que les images ou vidéos récupérées sont fortement corrélées avec la requête. Néanmoins, plusieurs défis subsistent. Tout d'abord, les vidéos du Web sont souvent non retouchées. Ainsi, seules certaines parties des vidéos sont pertinentes pour la requête. Deuxièmement, les images Web récupérées sont toujours fortement pertinentes pour la requête émise. Cependant, utiliser sans réflexion les images dans le domaine vidéo peut même nuire à la performance en raison des problèmes bien connus de dérive sémantique et d'écart de domaine. En conséquence, une question valide est de savoir comment les images et vidéos Web interagissent pour l'apprentissage de concepts vidéo. Dans cet article, nous proposons un Réseau Neuronal Lead-Exceed (LENN), qui renforce l'entraînement sur les images et vidéos Web de manière progressive. Plus précisément, l'entraînement se déroule en introduisant des images de vidéos Web pour obtenir un réseau. Les images Web sont ensuite filtrées par le réseau appris et les images sélectionnées sont également introduites dans le réseau pour améliorer l'architecture et affiner davantage les vidéos. De plus, la mémoire à long terme et à court terme (LSTM) peut être appliquée sur les vidéos retouchées pour explorer l'information temporelle. Des résultats encourageants sont rapportés sur UCFIOl, TRECVID 2013 et 2014 MEDTest dans le cadre de la reconnaissance d'actions et de la détection d'événements. Sans utiliser d'exemplaires annotés par des humains, notre LENN proposé peut atteindre une précision de 74,4 % sur le dataset UCFIOI.