SRI3D : un ConvNet 3D gonflé à deux flux basé sur la régularisation sparse pour la reconnaissance d'actions

Résumé Bien que la plupart des modèles de reconnaissance d'actions à la pointe de la technologie aient adopté une structure de convolution 3D à deux flux comme réseau de base, peu de travaux ont étudié l'impact des fonctions de perte sur les modèles de reconnaissance d'actions. De plus, la sparsité est utilisée comme une connaissance prioritaire clé dans de nombreux domaines. Cependant, à notre connaissance, personne n'a étudié l'influence de la sparsité de la sortie du réseau sur la sortie des modèles de reconnaissance d'actions basés sur l'apprentissage profond. Par conséquent, cet article propose un nouveau ConvNet 3D gonflé à deux flux basé sur le modèle de régularisation sparse (SRI3D) pour la reconnaissance d'actions. Pour permettre au réseau d'apprendre la sparsité de la sortie, la norme ℓ 1 est intégrée dans la fonction de perte sous forme de régularisation de manière plug-and-play. Cela peut faire en sorte que le résultat de classification après la fusion du réseau à deux flux ne soit que la catégorie avec la confiance la plus élevée dans l'un des flux et non dans les autres cas. La fonction de perte proposée basée sur la régularisation sparse rend le vecteur de sortie du réseau neuronal aussi sparse que possible afin que les résultats de classification ne soient pas ambigus. Les résultats expérimentaux montrent qu'en comparaison avec d'autres modèles à la pointe de la technologie, ce SRI3D a un avantage concurrentiel sur Kinetics-400, Something-Something V2, UCF-101 et HMDB-51.