Aprendizaje de Representaciones Embebidas en Relaciones para la Localización de Expresiones Referenciales

La localización de expresiones referenciales en imágenes tiene como objetivo localizar la instancia del objeto en una imagen descrita por una expresión referencial. Implica una comprensión conjunta del lenguaje natural y el contenido de la imagen, y es esencial para una variedad de tareas visuales relacionadas con la interacción humano-computadora. Como una tarea de coincidencia de lenguaje a visión, el núcleo de este problema no solo es extraer toda la información necesaria (es decir, objetos y las relaciones entre ellos) tanto en la imagen como en la expresión referencial, sino también hacer un uso completo de la información contextual para alinear conceptos semánticos cross-modales en la información extraída. Desafortunadamente, los trabajos existentes sobre la localización de expresiones referenciales no logran extraer con precisión relaciones de orden múltiple de la expresión referencial y asociarlas con los objetos y sus contextos relacionados en la imagen. En este artículo, proponemos un extractor de relaciones cross-modales (CMRE) para resaltar adaptativamente objetos y relaciones (relaciones espaciales y semánticas) relacionadas con la expresión dada mediante un mecanismo de atención cross-modal, y representar la información extraída como un grafo de relación visual guiado por el lenguaje. Además, proponemos una Red Neuronal Convolucional de Grafos con Puertas (GGCN) para computar contextos semánticos multimodales fusionando información de diferentes modos y propagando información multimodal en el grafo de relación estructurado. Los resultados experimentales en tres conjuntos de datos de referencia comunes muestran que nuestra Red de Inferencia de Relaciones Cross-Modal, que consiste en CMRE y GGCN, supera significativamente todos los métodos actuales de vanguardia.