M-BEV: Percepção BEV Mascarada para Direção Autônoma Robusta

A percepção 3D é um problema crítico na direção autônoma. Recentemente, a abordagem Bird’s-Eye-View (BEV) tem atraído ampla atenção, devido ao custo baixo de implementação e à capacidade desejável de detecção visual. No entanto, os modelos existentes ignoram um cenário realista durante o procedimento de condução, ou seja, uma ou mais câmeras de visão podem falhar, o que deteriora significativamente seu desempenho. Para enfrentar esse problema, propomos uma estrutura genérica de percepção BEV Mascarada (M-BEV), que pode melhorar efetivamente a robustez a esse cenário desafiador, por meio de mascaramento aleatório e reconstrução de vistas de câmeras no treinamento end-to-end. Mais especificamente, desenvolvemos um novo módulo de Reconstrução de Vista Mascarada (MVR) em nosso M-BEV. Ele imita vários casos de ausência ao mascarar aleatoriamente as características de diferentes vistas de câmeras, e então aproveita as características originais dessas vistas como auto-supervisão e reconstrói as mascaradas com o distinto contexto espaço-temporal entre as vistas de câmeras. Através de um MVR plug-and-play, nosso M-BEV é capaz de aprender as vistas ausentes a partir das restantes, e assim se generaliza bem para uma recuperação robusta de vistas e percepção precisa nos testes. Realizamos extensos experimentos no popular benchmark NuScenes, onde nossa estrutura pode aumentar significativamente o desempenho de percepção 3D dos modelos de ponta em vários casos de vistas ausentes, por exemplo, na ausência da vista traseira, nosso M-BEV promove o modelo PETRv2 com um ganho de 10,3% de mAP.