Interaja como Você Pretende: Detecção de Interação Humano-Objeto Baseada em Intenção

Os avanços recentes nas tarefas de detecção em nível de instância oferecem uma base sólida para a compreensão genuína das cenas visuais. No entanto, a capacidade de compreender plenamente uma cena social ainda está em seu estágio preliminar. Neste trabalho, focamos na detecção de interações humano-objeto (HOIs) em imagens de cenas sociais, que são exigentes em termos de pesquisa e cada vez mais úteis para aplicações práticas. Para realizar tarefas sociais interagindo com objetos, os humanos direcionam sua atenção e movem seu corpo com base em sua intenção. Com base nessa observação, fornecemos uma perspectiva computacional única para explorar a intenção humana na detecção de HOI. Especificamente, a proposta de detecção de HOI baseada em intenção humana (iHOI) modela a pose humana com as distâncias relativas entre as articulações do corpo e as instâncias dos objetos. Também utiliza o olhar humano para guiar as regiões contextuais atendidas em um ambiente fraco-supervisionado. Além disso, propomos uma estratégia de amostragem negativa difícil para abordar o problema da má agrupação. Realizamos experimentos extensivos em dois conjuntos de dados de referência, V-COCO e HICO-DET. A eficácia de cada componente proposto também foi validada.