Bi-KVIL: Aprendizado Visual de Imitação Baseado em Pontos-Chave para Tarefas de Manipulação Bimanual

O aprendizado visual de imitação alcançou um progresso impressionante ao aprender tarefas de manipulação unimanuais a partir de um pequeno conjunto de observações visuais, graças aos últimos avanços em visão computacional. No entanto, aprender estratégias de coordenação bimanual e relações complexas entre objetos a partir de demonstrações visuais bimanuals, bem como generalizá-las para objetos categóricos em cenas desordenadas novas, continuam a ser desafios não resolvidos. Neste artigo, ampliamos nosso trabalho anterior sobre aprendizado visual de imitação baseado em pontos-chave (K-VIL) ~gaoₖvil₂023 para tarefas de manipulação bimanual. O Bi-KVIL proposto extrai conjuntamente as chamadas Relações Híbridas Mestre-Escravo (HMSR) entre objetos e mãos, estratégias de coordenação bimanual e representações de tarefas sub-simbólicas. Nossa representação de tarefas bimanual é centrada em objetos, independente de incorporação e invariável ao ponto de vista, generalizando assim bem para objetos categóricos em cenas novas. Avaliamos nossa abordagem em diversas aplicações do mundo real, demonstrando sua capacidade de aprender tarefas de manipulação bimanual detalhadas a partir de um pequeno número de vídeos de demonstração humana. Vídeos e código-fonte estão disponíveis em https://sites.google.com/view/bi-kvil.