Rastreando Pessoas pelo Aprendizado da Sua Aparência

Um problema aberto de visão é rastrear automaticamente as articulações das pessoas a partir de uma sequência de vídeo. Esse problema é difícil porque é necessário determinar tanto o número de pessoas em cada quadro quanto estimar suas configurações. No entanto, encontrar pessoas e localizar seus membros é complicado porque elas podem se mover rapidamente e de forma imprevisível, podem aparecer em uma variedade de poses e roupas, e muitas vezes estão cercadas por objetos que se assemelham a membros. Desenvolvemos um sistema completamente automático que funciona em duas etapas; primeiro, ele constrói um modelo de aparência de cada pessoa em um vídeo e, em seguida, rastreia detectando esses modelos em cada quadro ("rastreamento por construção de modelo e detecção"). Desenvolvemos dois algoritmos que constroem modelos; uma abordagem de baixo para cima agrupa partes do corpo candidatas encontradas ao longo de uma sequência. Também descrevemos uma abordagem de cima para baixo que constrói automaticamente modelos de pessoas ao detectar poses-chave convenientes dentro de uma sequência. Finalmente, mostramos que construir um modelo discriminativo de aparência é bastante útil, pois explora a estrutura de um fundo (sem subtração de fundo). Demonstramos o rastreador resultante em centenas de milhares de quadros de atividades internas e externas não roteirizadas, em um longa-metragem ("Corre Lola Corre") e em imagens de esportes legadas (da World Series de 2002 e das Olimpíadas de Inverno de 1998). Experimentos sugerem que nosso sistema 1) pode contar indivíduos distintos, 2) pode identificá-los e rastreá-los, 3) pode se recuperar quando perde o rastro, por exemplo, se os indivíduos estão ocluídos ou saem brevemente da vista, 4) pode identificar a configuração do corpo com precisão, e 5) não depende de modelos particulares de movimento humano.