Aprendizado de ponta a ponta de Mixturas Deformáveis de Partes e Redes Neurais Convolucionais Profundas para Estimativa de Pose Humana

Recentemente, Redes Neurais Convolucionais Profundas (DCNNs) foram aplicadas à tarefa de estimativa de pose humana, demonstrando seu potencial de aprender melhores representações de características e capturar relações contextuais. No entanto, é difícil incorporar conhecimento prévio de domínio, como relações geométricas entre partes do corpo, nas DCNNs. Além disso, treinar detectores de partes do corpo baseados em DCNNs sem considerar a consistência global das articulações do corpo introduz ambiguidades, aumentando a complexidade do treinamento. Neste artigo, propomos uma nova estrutura de ponta a ponta para estimativa de pose humana que combina DCNNs com a expressiva mistura deformável de partes. Incorporamos explicitamente o conhecimento prévio de domínio na estrutura, o que regulariza grandemente o processo de aprendizado e permite que nossa estrutura seja flexível para modelos com laços ou modelos estruturados em árvore. A eficácia de aprender conjuntamente uma DCNN com um modelo de mistura deformável de partes é avaliada por meio de experimentos intensivos em vários benchmarks amplamente utilizados. A abordagem proposta melhora significativamente o desempenho em comparação com abordagens de ponta, especialmente em benchmarks com articulações desafiadoras.