Red de Atención Escasa y Cruzada para Segmentación Panóptica Eficiente de LiDAR

Dos grandes desafíos de la Segmentación Panóptica 3D de LiDAR (PS) son que las nubes de puntos de un objeto están agregadas en la superficie y, por lo tanto, son difíciles de modelar en la dependencia a larga distancia, especialmente para instancias grandes, y que los objetos están demasiado cerca para separarse entre sí. La literatura reciente aborda estos problemas mediante procesos de agrupamiento que consumen mucho tiempo, como el doble agrupamiento, desplazamientos de media y etc., o mediante una representación densa de centroides desde una vista de ave (BEV) que minimiza la geometría. Sin embargo, la relación geométrica a larga distancia no ha sido modelada suficientemente por el aprendizaje de características locales de los métodos anteriores. Para este fin, presentamos SCAN, una nueva red de atención escasa y cruzada para primero alinear características dispersas de múltiples escalas con atención codificada en vóxeles globales para capturar la relación a larga distancia del contexto de instancias, lo que puede aumentar la precisión de regresión de los objetos grandes sobredimensionados. Para los puntos agregados en la superficie, SCAN adopta una nueva representación escasa agnóstica a la clase de los centroides de las instancias, que no solo puede mantener la escasez de las características alineadas para resolver la subsegmentación en objetos pequeños, sino también reducir la cantidad de computación de la red a través de la convolución escasa. Nuestro método supera a los métodos anteriores por un gran margen en el conjunto de datos SemanticKITTI para la desafiante tarea de PS 3D, logrando el primer lugar con una velocidad de inferencia en tiempo real.