PaStaNet: Rumo ao Moto de Conhecimento de Atividades Humanas

Os métodos existentes de compreensão de atividades baseados em imagem adotam principalmente mapeamento direto, ou seja, da imagem para conceitos de atividade, o que pode enfrentar um gargalo de desempenho devido à enorme lacuna. Diante disso, propomos um novo caminho: inferir primeiro os estados das partes do corpo humano e, em seguida, raciocinar sobre as atividades com base na semântica em nível de parte. Os Estados das Partes do Corpo Humano (PaSta) são tokens semânticos de ação finamente detalhados, que podem compor as atividades e nos ajudar a avançar em direção ao motor de conhecimento de atividades humanas. Para utilizar plenamente o poder do PaSta, construímos uma base de conhecimento em larga escala, o PaStaNet, que contém mais de 7 milhões de anotações de PaSta. E dois modelos correspondentes são propostos: primeiro, projetamos um modelo chamado Activity2Vec para extrair características de PaSta, que visam ser representações gerais para várias atividades. Em segundo lugar, usamos um método de raciocínio baseado em PaSta para inferir atividades. Impulsionado pelo PaStaNet, nosso método alcança melhorias significativas, por exemplo, 6.4 e 13.9 mAP nos conjuntos completos e one-shot do HICO em aprendizado supervisionado, e 3.2 e 4.2 mAP no V-COCO e imagens baseadas no AVA em aprendizado por transferência. O código e os dados estão disponíveis em http://hake-mvig.cn/.