Representação esparsa sensível à localização de padrões normais profundos para reconhecimento facial 3D robusto à expressão

Este artigo apresenta uma abordagem direta, mas eficiente, de reconhecimento facial 3D robusto à expressão, explorando a representação esparsa sensível à localização de padrões normais profundos (DNP). Em particular, dadas superfícies faciais 3D brutas, primeiro executamos um pipeline de pré-processamento facial 3D, incluindo a detecção da ponta do nariz, recorte da região facial e normalização de pose. As coordenadas 3D de cada superfície facial 3D normalizada são então projetadas em um plano 2D para gerar imagens geométricas, a partir das quais três imagens de componentes normais da superfície facial são estimadas. Cada imagem normal é então alimentada em uma rede profunda de rosto pré-treinada para gerar representações profundas das normais da superfície facial, ou seja, padrões normais profundos. Considerando a importância de diferentes locais faciais, propomos um classificador de representação esparsa sensível à localização (LS-SRC) para medir similaridade entre padrões normais profundos associados a diferentes rostos 3D. Finalmente, uma fusão simples de nível de pontuação de diferentes componentes normais é utilizada para a decisão final. A abordagem proposta alcança um desempenho significativamente alto, reportando pontuações de primeiro lugar de 98,01%, 97,60% e 96,13% nos bancos de dados FRGC v2.0, Bosphorus e BU-3DFE quando apenas uma amostra por sujeito é utilizada na galeria. Esses resultados experimentais revelam que o desempenho do reconhecimento facial 3D poderia ser constantemente melhorado com a ajuda de modelos profundos treinados a partir de um grande número de imagens faciais 2D, o que abre portas para futuras direções de reconhecimento facial 3D.