FunGraph: Grafo de Cenário 3D Consciente da Funcionalidade para Interação de Cena Promovida por Linguagem

O conceito de grafos de cena 3D está sendo cada vez mais reconhecido como uma representação semântica e hierárquica poderosa do ambiente. As abordagens atuais geralmente tratam isso em uma resolução grosseira, a nível de objeto. Em contraste, nosso objetivo é desenvolver uma representação que permita que robôs interajam diretamente com seu ambiente, identificando tanto a localização de elementos interativos funcionais quanto como esses podem ser utilizados. Para alcançar isso, focamos em detectar e armazenar objetos em uma resolução mais refinada, concentrando-se nas partes relevantes à affordance. O principal desafio reside na escassez de dados que se estendem além da detecção a nível de instância e na dificuldade inerente de capturar características detalhadas dos objetos usando sensores robóticos. Aproveitamos recursos 3D atualmente disponíveis para gerar dados 2D e treinar um detector, que é então usado para aumentar o pipeline padrão de geração de grafo de cena 3D. Através de nossos experimentos, demonstramos que nossa abordagem alcança segmentação de elementos funcionais comparável a modelos 3D de última geração e que nossa ampliação possibilita a fundamentação de affordance orientada a tarefas com maior precisão do que as soluções atuais. Veja nossa página do projeto em https://fungraph.github.io.