Estimativa de Pose de Mão 3D Baseada em Modelo a partir de Vídeo Monocular

Apresenta-se uma nova abordagem baseada em modelo para rastreamento de mão 3D a partir de vídeo monocular. A pose da mão 3D, a textura da mão e a iluminação são estimadas dinamicamente através da minimização de uma função objetiva. Derivada de uma formulação de problema inverso, a função objetiva permite o uso explícito da continuidade temporal da textura e das informações de sombreamento, enquanto lida com auto-oclusões importantes e iluminação que varia com o tempo. A minimização é feita de forma eficiente utilizando um método quasi-Newton, para o qual fornecemos uma derivação rigorosa do gradiente da função objetiva. Atenção especial é dada a termos relacionados à mudança de visibilidade perto das fronteiras de auto-oclusão que são negligenciados em formulações existentes. Para isso, introduzimos novas forças de oclusão e mostramos que usar todos os termos do gradiente melhora significativamente o desempenho do método. Resultados experimentais qualitativos e quantitativos demonstram o potencial da abordagem.