Avaliação da Robustez da Fusão de LiDAR e Câmera para Detecção de Objetos 3D

Para alcançar a condução autônoma, o desenvolvimento de métodos de fusão de detecção 3D, que visam combinar as informações da câmera e do LiDAR, despertou grande interesse de pesquisa nos últimos anos. Como prática comum, as pessoas se baseiam em conjuntos de dados em grande escala para comparar de forma justa o desempenho de diferentes métodos. Embora esses conjuntos de dados tenham sido cuidadosamente limpos para minimizar idealmente qualquer ruído potencial, observamos que eles não refletem de verdade os dados vistos em um veículo autônomo real, cujos dados tendem a ser ruidosos por várias razões. Isso dificulta a capacidade de estimar simplesmente o desempenho robusto sob condições de ruído realistas. Para isso, coletamos uma série de casos do mundo real com distribuição de dados ruidosos e formulamos sistematicamente um kit de ferramentas de benchmark de robustez. Ele pode simular esses casos em qualquer conjunto de dados limpos, que tenha a modalidade de entrada da câmera e do LiDAR. Demonstramos a eficácia do nosso kit de ferramentas estabelecendo dois novos benchmarks de robustez em conjuntos de dados amplamente adotados, nuScenes e Waymo, e então avaliamos holisticamente os métodos de fusão de última geração. Descobrimos que: i) a maioria dos métodos de fusão, quando desenvolvidos exclusivamente com esses dados, tende a falhar inevitavelmente quando há uma interrupção na entrada do LiDAR; ii) a melhoria da entrada da câmera é significativamente inferior à do LiDAR. Publicamos o conjunto de dados de fusão robusta, o benchmark, documentos detalhados e instruções em https://anonymous-benchmark.github.io/robust-benchmark-website.