Aprendizado de Apanhar Robótico 6DoF em Cenas Bagunçadas via Renderização de Superfície Neural

Um desafio significativo para a manipulação robótica no mundo real é a apreensão efetiva de objetos em cenas bagunçadas a partir de qualquer ponto de vista sem a necessidade de exploração adicional da cena. Este trabalho reinterpreta a apreensão como renderização e introduz o NeuGraspNet, um método inovador para detecção de apreensão 6DoF que aproveita os avanços em representações volumétricas neurais e renderização de superfícies. Codificamos a interação entre o end-effector de um robô e a superfície de um objeto ao aprender conjuntamente a renderizar a superfície local do objeto e funções de apreensão em um espaço de características compartilhado. Nossa abordagem utiliza características globais (de nível de cena) para a geração de apreensões e características de superfície neural locais (de nível de apreensão) para avaliação de apreensões. Isso permite a previsão de qualidade de apreensão 6DoF de forma totalmente implícita, mesmo em cenas parcialmente observadas. O NeuGraspNet opera em pontos de vista aleatórios, comuns em cenários de manipulação móvel, e supera os métodos de apreensão implícitos e semi-implícitos existentes. Demonstramos a aplicabilidade prática do método com um robô manipulador móvel, realizando apreensões em espaços abertos e bagunçados. Site do projeto em: https://sites.google.com/view/neugraspnet