Alinhamento Facial em Grandes Poses: Uma Solução 3D

O alinhamento facial, que ajusta um modelo facial a uma imagem e extrai os significados semânticos dos pixels faciais, tem sido um tópico importante na comunidade de CV. No entanto, a maioria dos algoritmos é projetada para rostos em poses pequenas a médias (abaixo de 45), carecendo da capacidade de alinhar rostos em grandes poses de até 90. Os desafios são três: Primeiro, o modelo facial baseado em pontos de referência comumente usado assume que todos os pontos de referência são visíveis e, portanto, não é adequado para visualizações de perfil. Em segundo lugar, a aparência facial varia de forma mais dramática em grandes poses, variando de visualização frontal a visualização de perfil. Em terceiro lugar, rotular pontos de referência em grandes poses é extremamente desafiador, uma vez que os pontos de referência invisíveis precisam ser adivinhados. Neste artigo, propomos uma solução para os três problemas em uma nova estrutura de alinhamento, chamada Alinhamento Facial Denso 3D (3DDFA), na qual um modelo facial denso 3D é ajustado à imagem por meio de uma rede neural convolucional (CNN). Também propomos um método para sintetizar amostras de treinamento em grande escala em visualizações de perfil para resolver o terceiro problema da rotulagem de dados. Os experimentos no desafiador banco de dados AFLW mostram que nossa abordagem alcança melhorias significativas em relação aos métodos de ponta.