Gated-SCNN: Redes Neurales Con Puertas para Segmentación Semántica

Los métodos actuales de vanguardia para la segmentación de imágenes forman una representación densa de la imagen donde la información de color, forma y textura se procesa en conjunto dentro de una CNN profunda. Sin embargo, esto puede no ser ideal ya que contienen tipos de información muy diferentes relevantes para el reconocimiento. Aquí, proponemos una nueva arquitectura de CNN de dos flujos para la segmentación semántica que conecta explícitamente la información de forma como una rama de procesamiento separada, es decir, el flujo de forma, que procesa la información en paralelo al flujo clásico. La clave de esta arquitectura es un nuevo tipo de puertas que conectan las capas intermedias de los dos flujos. Específicamente, usamos las activaciones de nivel superior en el flujo clásico para controlar las activaciones de nivel inferior en el flujo de forma, eliminando efectivamente el ruido y ayudando al flujo de forma a enfocarse únicamente en procesar la información relevante relacionada con los bordes. Esto nos permite utilizar una arquitectura muy superficial para el flujo de forma que opera a nivel de resolución de imagen. Nuestros experimentos muestran que esto conduce a una arquitectura altamente efectiva que produce predicciones más nítidas alrededor de los bordes de los objetos y mejora significativamente el rendimiento en objetos más delgados y pequeños. Nuestro método logra un rendimiento de vanguardia en el benchmark de Cityscapes, en términos de calidad de máscara (mIoU) y de borde (F-score), mejorando en un 2% y 4% sobre líneas base fuertes.