UnOS: Estimação Unificada de Fluxo Óptico Não Supervisionado e Profundidade Estéreo Assistida por Vídeos

Neste artigo, propomos o UnOS, um sistema unificado para estimação não supervisionada de fluxo óptico e profundidade estéreo usando rede neural convolucional (CNN), aproveitando sua consistência geométrica inerente baseada na suposição de cena rígida. O UnOS supera significativamente outras abordagens não supervisionadas de última geração (SOTA) que tratam as duas tarefas de forma independente. Especificamente, dado dois pares de imagens estéreo consecutivas de um vídeo, o UnOS estima imagens de profundidade estéreo por píxel, movimento ego da câmera e fluxo óptico com três CNNs paralelas. Com base nessas quantidades, o UnOS calcula o fluxo óptico rígido e o compara com o fluxo óptico estimado a partir do FlowNet, gerando pixels que satisfazem a suposição de cena rígida. Em seguida, incentivamos a consistência geométrica entre os dois fluxos estimados dentro de regiões rígidas, a partir das quais derivamos um módulo de odometria visual direta consciente da rigidez (RDVO). Também propomos perdas de consistência de fluxo rígidas e conscientes de oclusão para o aprendizado do UnOS. Avaliamos nossos resultados no popular conjunto de dados KITTI em 4 tarefas relacionadas: profundidade estéreo, fluxo óptico, odometria visual e segmentação de movimento.