Duas Mãos São Melhor do que Uma: Resolvendo Interseções Mão a Mão via Redes de Ocupação

A estimativa de pose de mão 3D a partir de imagens tem recebido considerável interesse da literatura, com novos métodos melhorando a precisão geral em 3D. Um desafio atual é lidar com a interação mão a mão, onde autooclusões e a articulação dos dedos representam um problema significativo para a estimativa. Pouco trabalho aplicou restrições físicas que minimizem as interseções de mãos que ocorrem como resultado de estimativas ruidosas. Este trabalho aborda a interseção de mãos explorando uma rede de ocupação que representa o volume da mão como um manifold contínuo. Isso nos permite modelar a distribuição de probabilidade de pontos estarem dentro de uma mão. Projetamos uma função de perda de interseção para minimizar a probabilidade de interseções mão-ponto. Além disso, propomos uma nova parametrização de malha de mão que é superior ao modelo MANO comumente usado em muitos aspectos, incluindo menor complexidade de malha, extração subjacente de esqueleto 3D, impermeabilidade, etc. No conjunto de dados de referência InterHand2.6M, os modelos treinados usando nossa perda de interseção alcançam melhores resultados do que o estado da arte, diminuindo significativamente o número de interseções de mãos, enquanto reduzem o erro médio de posição por junta. Além disso, demonstramos desempenho superior para levantamento de mão 3D nos conjuntos de dados Re:InterHand e SMILE e mostramos interseções de mão a mão reduzidas para domínios complexos, como a estimativa de pose em linguagem de sinais.