Transformación Semántica Basada en Partes para Segmentación Semántica de Pocas Ejecuciones

La segmentación semántica de pocas ejecuciones sigue siendo un problema abierto por la falta de un método efectivo para manejar la desalineación semántica entre objetos. En este artículo, proponemos la transformación semántica basada en partes (PST) y nos enfocamos en alinear la semántica de objetos en imágenes de soporte con aquellas en imágenes de consulta mediante descomposición semántica y coincidencia. El proceso de descomposición semántica se implementa con modelos de mezcla de prototipos (PMMs), que utilizan un algoritmo de maximización de expectativas (EM) para descomponer la semántica del objeto en múltiples prototipos correspondientes a partes del objeto. La coincidencia semántica entre prototipos se realiza con un módulo de flujo de costo mínimo, que fomenta la correspondencia correcta mientras deprime las discrepancias entre las partes del objeto. Con la descomposición y coincidencia semántica, PST refuerza la tolerancia de la red a la variación de apariencia y/o pose de los objetos y facilita la activación semántica canalizada y espacial de los objetos en las imágenes de consulta. Experimentos extensos en los conjuntos de datos de Pascal VOC y MS-COCO muestran que PST mejora significativamente los métodos más avanzados. En particular, en MS-COCO, mejora el rendimiento de la segmentación semántica de cinco ejecuciones en hasta un 7.79% con un costo moderado en velocidad de inferencia y tamaño del modelo. El código para PST se publica en https://github.com/Yang-Bob/PST.