EgoExo-Fitness: Rumo à Compreensão de Ação Corporal Total Egocêntrica e Exocêntrica

Apresentamos EgoExo-Fitness, um novo conjunto de dados para compreensão de ação corporal total, apresentando vídeos de sequências de fitness gravados a partir de câmeras egocêntricas sincronizadas e câmeras exocêntricas fixas (terceira pessoa). Comparado com conjuntos de dados existentes de compreensão de ação corporal total, o EgoExo-Fitness não só contém vídeos de perspectivas em primeira pessoa, mas também fornece anotações ricas. Especificamente, limites temporais de dois níveis são fornecidos para localizar vídeos de ação única juntamente com sub-passos de cada ação. Mais importante, o EgoExo-Fitness introduz anotações inovadoras para julgamento de ação interpretável – incluindo verificação de pontos-chave técnicos, comentários em linguagem natural sobre a execução da ação e pontuações de qualidade da ação. Combinando tudo isso, o EgoExo-Fitness fornece novos recursos para estudar a compreensão de ação corporal total egocêntrica e exocêntrica nas dimensões de "o que", "quando" e "quão bem". Para facilitar a pesquisa sobre compreensão de ação corporal total egocêntrica e exocêntrica, construímos benchmarks em um conjunto de tarefas (ou seja, classificação de ação, localização de ação, verificação de sequência de diferentes ângulos, determinação de habilidade de diferentes ângulos, e uma nova tarefa proposta de verificação de execução baseada em orientação), juntamente com uma análise detalhada. O código e os dados estarão disponíveis em https://github.com/iSEE-Laboratory/EgoExo-Fitness/tree/main.