Segmentación Visual Basada en Transformadores: Una Revisión

La segmentación visual busca dividir imágenes, cuadros de video o nubes de puntos en múltiples segmentos o grupos. Esta técnica tiene numerosas aplicaciones en el mundo real, como la conducción autónoma, la edición de imágenes, la percepción robótica y el análisis médico. En la última década, los métodos basados en aprendizaje profundo han logrado avances notables en esta área. Recientemente, los transformadores, un tipo de red neuronal basada en la autoatención originalmente diseñada para el procesamiento de lenguaje natural, han superado considerablemente los enfoques convolucionales o recurrentes anteriores en varias tareas de procesamiento de visión. Específicamente, los transformadores de visión ofrecen soluciones robustas, unificadas e incluso más simples para diversas tareas de segmentación. Esta revisión proporciona una visión completa de la segmentación visual basada en transformadores, resumiendo los avances recientes. Primero revisamos el contexto, abarcando definiciones del problema, conjuntos de datos y métodos convolucionales previos. A continuación, resumimos una meta-arquitectura que unifica todos los enfoques recientes basados en transformadores. Basado en esta meta-arquitectura, examinamos varios diseños de métodos, incluyendo modificaciones a la meta-arquitectura y aplicaciones asociadas. También presentamos varios subcampos específicos, incluyendo la segmentación de nubes de puntos 3D, el ajuste de modelos fundamentales, la segmentación consciente del dominio, la segmentación eficiente y la segmentación médica. Además, recopilamos y reevaluamos los métodos revisados en varios conjuntos de datos bien establecidos. Finalmente, identificamos desafíos abiertos en este campo y proponemos direcciones para la investigación futura. La página del proyecto se puede encontrar en https://github.com/lxtGH/Awesome-Segmentation-With-Transformer.