PointPainting: Fusão Sequencial para Detecção de Objetos 3D

Câmera e lidar são modalidades sensoriais importantes para a robótica em geral e carros autônomos em particular. Os sensores fornecem informações complementares, oferecendo uma oportunidade para uma fusão de sensores estreita. Surpreendentemente, métodos apenas com lidar superam métodos de fusão nos principais conjuntos de dados de referência, sugerindo uma lacuna na literatura. Neste trabalho, propomos o PointPainting: um método de fusão sequencial para preencher essa lacuna. O PointPainting funciona projetando pontos de lidar na saída de uma rede de segmentação de imagem apenas semântica e anexando as pontuações de classe a cada ponto. A nuvem de pontos anexada (pintada) pode então ser alimentada em qualquer método apenas com lidar. Experimentos mostram grandes melhorias em três diferentes métodos de ponta, Point-RCNN, VoxelNet e PointPillars nos conjuntos de dados KITTI e nuScenes. A versão pintada do PointRCNN representa um novo estado da arte no ranking KITTI para a tarefa de detecção em visão de pássaro. Em ablação, estudamos como os efeitos da Pintura dependem da qualidade e formato da saída de segmentação semântica, e demonstramos como a latência pode ser minimizada através do encadeamento.