Detección de peatones basada en aprendizaje profundo utilizando imágenes RGB y nubes de puntos LiDAR dispersas

Una de las tareas fundamentales en la conducción autónoma es la percepción del entorno para la detección de peatones, donde la detección de peatones fusionada utilizando información de cámara y detección y rango de luz (LiDAR) impone desafíos, ya que la alineación de datos, la compensación y la fusión entre diferentes modos de datos son complejas, y la adquisición simultánea de datos de dos modalidades diferentes también aumenta la dificultad. Este trabajo aborda los desafíos anteriores desde las dimensiones de hardware y software. Primero, se diseña y construye una plataforma de adquisición de datos multimodal para peatones utilizando una cámara RGB, LiDAR disperso y un módulo de procesamiento de datos que incluye conexión y despliegue de hardware, corrección de distorsión de sensores y calibración conjunta, y sincronización de adquisición de datos. Luego, se recolectan datos de peatones de múltiples escenas utilizando esta plataforma para producir y formar un conjunto de datos dedicado a la detección de peatones multimodal. Además, se propone una red de detección de peatones multimodal de fusión multinivel de dos ramas (MM-Net), que incluye un módulo de extracción de características de dos ramas y un módulo de fusión de datos a nivel de características. Se realizan extensos experimentos en el conjunto de datos de detección de peatones multimodal y el conjunto de datos KITTI para la comparación con los modelos existentes. Los resultados experimentales demuestran el rendimiento superior de MM-Net.