Reconhecimento Multimodal de Humanos Baseado em CNN em Ambientes de Vigilância

No campo atual do reconhecimento humano, a maioria das pesquisas realizadas atualmente está focada na reidentificação de diferentes imagens corporais capturadas por várias câmeras em um ambiente externo. Por outro lado, quase não há pesquisas sendo realizadas sobre reconhecimento humano em ambientes internos. Pesquisas anteriores sobre reconhecimento interno têm se concentrado principalmente no reconhecimento facial, uma vez que a câmera geralmente está mais próxima da pessoa em um ambiente interno do que em um ambiente externo. No entanto, devido à natureza das câmeras de vigilância internas, que são instaladas próximas ao teto e capturam imagens de cima para baixo, as pessoas geralmente não olham diretamente para as câmeras na maioria dos casos. Assim, muitas vezes é difícil capturar imagens de rosto frontal, e quando isso acontece, a precisão do reconhecimento facial é muito reduzida. Para superar esse problema, podemos considerar o uso do rosto e do corpo para o reconhecimento humano. No entanto, quando as imagens são capturadas por câmeras internas em vez de externas, em muitos casos, apenas parte do corpo alvo está incluída no ângulo de visão da câmera e apenas parte do corpo é capturada, o que reduz a precisão do reconhecimento humano. Para abordar todos esses problemas, este artigo propõe um método de reconhecimento humano multimodal que utiliza tanto o rosto quanto o corpo e é baseado em uma rede neural convolucional profunda (CNN). Especificamente, para resolver o problema de não capturar parte do corpo, os resultados do reconhecimento do rosto e do corpo através de CNNs separadas do VGG Face-16 e do ResNet-50 são combinados com base na fusão de nível de pontuação pela regra da Soma Ponderada para melhorar o desempenho do reconhecimento. Os resultados de experimentos realizados utilizando o banco de dados de rosto e corpo (DFB-DB1) feito sob medida e o banco de dados aberto ChokePoint demonstram que o método proposto neste estudo atinge alta precisão de reconhecimento (as taxas de erro iguais de 1,52% e 0,58%, respectivamente) em comparação ao reconhecimento baseado em modalidade única do rosto ou corpo e outros métodos utilizados em estudos anteriores.