Réseaux de neurones entièrement convolutionnels pour la segmentation de foule

Dans cet article, nous proposons un réseau de neurones entièrement convolutionnel (FCNN) rapide pour la segmentation de foule. En remplaçant les couches entièrement connectées dans le CNN par des noyaux de convolution 1 par 1, le FCNN prend des images entières en entrée et produit directement des cartes de segmentation par un passage unique de propagation avant. Il a la propriété d'invariance de translation comme le balayage par patch, mais avec un coût de calcul beaucoup plus faible. Une fois que le FCNN est appris, il peut traiter des images d'entrée de n'importe quelle taille sans les déformer à une taille standard. Ces propriétés attrayantes le rendent extensible à d'autres problèmes de segmentation d'images générales. Basé sur le FCNN, un apprentissage profond multi-niveau est proposé pour intégrer les indices d'apparence et de mouvement pour la segmentation de foule. Les filtres d'apparence et les filtres de mouvement sont pré-entraînés étape par étape, puis optimisés conjointement. Différentes méthodes de combinaison sont étudiées. L'efficacité de notre approche et l'analyse par composant sont évaluées sur deux ensembles de données de segmentation de foule créées par nos soins, qui incluent des images de 235 et 11 scènes, respectivement. Ils sont actuellement les plus grands ensembles de données de segmentation de foule et seront rendus publics.