HOIverse: Um Conjunto de Dados de Gráfico de Cena Sintético com Interações entre Humanos e Objetos

Quando humanos e agentes robóticos coexistem em um ambiente, a compreensão da cena se torna crucial para que os agentes realizem várias tarefas subsequentes, como navegação e planejamento. Assim, um agente deve ser capaz de localizar e identificar as ações realizadas pelo humano. A pesquisa atual carece de conjuntos de dados confiáveis para realizar a compreensão da cena em ambientes internos onde humanos também fazem parte da cena. Gráficos de Cena nos permitem gerar uma representação estruturada de uma cena ou imagem para realizar a compreensão visual da cena. Para abordar isso, apresentamos o HOIverse, um conjunto de dados sintético na interseção de gráficos de cena e interação humano-objeto, consistindo em verdades-terreno de relacionamento precisas e densas entre humanos e objetos circundantes, juntamente com imagens RGB correspondentes, máscaras de segmentação, imagens de profundidade e pontos-chave humanos. Computamos relações paramétricas entre vários pares de objetos e pares humano-objeto, resultando em definições de relação precisas e inequívocas. Além disso, avaliamos nosso conjunto de dados em modelos de geração de gráficos de cena de última geração para prever relações paramétricas e interações humano-objeto. Através deste conjunto de dados, buscamos acelerar a pesquisa no campo da compreensão da cena envolvendo pessoas.