Razonamiento Semántico Visual para la Correspondencia Imagen-Texto

La correspondencia imagen-texto ha sido un tema de investigación candente que une las áreas de visión y lenguaje. Sigue siendo un desafío porque la representación actual de la imagen generalmente carece de conceptos semánticos globales, como en su correspondiente subtítulo de texto. Para abordar este problema, proponemos un modelo de razonamiento simple e interpretable para generar una representación visual que capte los objetos clave y los conceptos semánticos de una escena. Específicamente, primero establecemos conexiones entre las regiones de la imagen y realizamos razonamiento con Redes Neuronales de Convolución Gráfica para generar características con relaciones semánticas. Luego, proponemos utilizar el mecanismo de puerta y memoria para realizar un razonamiento semántico global sobre estas características enriquecidas por relaciones, seleccionar la información discriminativa y generar gradualmente la representación para toda la escena. Los experimentos validan que nuestro método logra un nuevo estado del arte para la correspondencia imagen-texto en los conjuntos de datos MS-COCO y Flickr30K. Supera el mejor método actual en un 6.8% relativamente para la recuperación de imágenes y un 4.8% relativamente para la recuperación de subtítulos en MS-COCO (Recall@1 utilizando un conjunto de prueba de 1K). En Flickr30K, nuestro modelo mejora la recuperación de imágenes en un 12.6% relativamente y la recuperación de subtítulos en un 5.8% relativamente (Recall@1).