DBA-Fusion: Integração Apertada do Ajuste de Feixe Visual Denso Profundo com Múltiplos Sensores para Localização e Mapeamento em Larga Escala

A localização e mapeamento visual simultâneos (VSLAM) têm aplicações amplas, com métodos de ponta utilizando redes neurais profundas para melhor robustez e aplicabilidade. No entanto, há uma falta de pesquisa na fusão desses métodos baseados em aprendizado com informações de multi-sensores, o que pode ser indispensável para levar aplicações relacionadas a cenários complexos e em larga escala. Neste artigo, integramos de forma apertada o ajuste de feixe denso profundo treinável (DBA) com informações de multi-sensores através de um grafo fator. No framework, o fluxo óptico recorrente e o DBA são executados entre imagens sequenciais. As informações Hessianas derivadas do DBA são alimentadas em um grafo fator genérico para fusão de multi-sensores, que emprega uma janela deslizante e suporta marginalização probabilística. Um pipeline para integração visual-inercial é desenvolvido inicialmente, que fornece a mínima capacidade de localização e mapeamento em escala métrica. Além disso, outros sensores (por exemplo, sistema de navegação por satélite global) são integrados para funcionalidade sem deriva e geo-referenciamento. Extensos testes são conduzidos em conjuntos de dados públicos e conjuntos de dados coletados de forma autônoma. Os resultados validam o desempenho superior de localização de nossa abordagem, que permite mapeamento denso em tempo real em ambientes de larga escala. O código foi disponibilizado como código aberto (https://github.com/GREAT-WHU/DBA-Fusion).