Detecção de Objetos 3D Baseada em Stereo R-CNN para Direção Autônoma

Propomos um método de detecção de objetos 3D para direção autônoma, aproveitando totalmente as informações esparsas e densas, semânticas e geométricas em imagens estéreo. Nosso método, chamado Stereo R-CNN, estende o Faster R-CNN para entradas estéreo, a fim de detectar e associar simultaneamente objetos nas imagens esquerda e direita. Adicionamos ramificações extras após a Rede de Propostas de Região (RPN) estéreo para prever pontos-chave esparsos, pontos de vista e dimensões dos objetos, que são combinados com caixas 2D esquerda-direita para calcular uma caixa delimitadora 3D grosseira. Em seguida, recuperamos a caixa delimitadora 3D precisa através de um alinhamento fotométrico baseado em região usando RoIs esquerda e direita. Nosso método não requer entrada de profundidade e supervisão de posição 3D, no entanto, supera todos os métodos baseados em imagem totalmente supervisionados existentes. Experimentos no desafiador conjunto de dados KITTI mostram que nosso método supera o método baseado em estéreo de ponta por cerca de 30% AP em ambas as tarefas de detecção 3D e localização 3D. O código será disponibilizado publicamente.