Aprendizagem de Agregação de Características para Modelos Morfáveis 3D Profundos

Modelos morfáveis 3D são amplamente utilizados para a representação da forma de uma classe de objetos em aplicações de visão computacional e gráficos. Neste trabalho, focamos em modelos morfáveis 3D profundos que aplicam diretamente o aprendizado profundo em dados de malhas 3D com uma estrutura hierárquica para capturar informações em múltiplas escalas. Embora grandes esforços tenham sido feitos para projetar o operador de convolução, como agregar melhor as características dos vértices através dos níveis hierárquicos merece mais atenção. Em contraste com a desagregação da malha, propomos um módulo baseado em atenção para aprender matrizes de mapeamento para uma melhor agregação de características em níveis hierárquicos. Especificamente, as matrizes de mapeamento são geradas por uma função de compatibilidade das chaves e consultas. As chaves e consultas são variáveis treináveis, aprendidas pela otimização do objetivo alvo, e compartilhadas por todas as amostras de dados da mesma classe de objetos. Nosso módulo proposto pode ser usado como uma substituição utilizada apenas para treinamento para a agregação de características em arquiteturas existentes tanto para redução quanto para aumento de amostragem. Nossos experimentos mostram que, através do treinamento de ponta a ponta das matrizes de mapeamento, alcançamos resultados de ponta em uma variedade de conjuntos de dados de formas 3D em comparação com modelos morfáveis existentes.