Puenteando la Brecha Semántica de Cross-Modality en la Respuesta a Preguntas Visuales

El objetivo de la respuesta a preguntas visuales (VQA) es comprender adecuadamente una pregunta e identificar contenidos relevantes en una imagen que puedan proporcionar una respuesta. Los enfoques existentes en VQA a menudo combinan características visuales y de preguntas directamente para crear una representación unificada de cross-modality para la inferencia de respuestas. Sin embargo, este tipo de enfoque no logra superar la brecha semántica entre las modalidades visual y textual, lo que resulta en una falta de alineación en la semántica de cross-modality y la incapacidad de coincidir con contenido visual clave de manera precisa. En este artículo, proponemos un modelo llamado el modelo de alineación y aprendizaje contrastivo basado en puentes de subtítulos (CBAC) para abordar el problema. El modelo CBAC tiene como objetivo reducir la brecha semántica entre diferentes modalidades. Consiste en un módulo de alineación de cross-modality basado en subtítulos y un módulo de aprendizaje contrastivo visual-subreferencia (V-C). Al utilizar un subtítulo auxiliar que comparte la misma modalidad que la pregunta y tiene asociaciones semánticas más cercanas con lo visual, podemos reducir efectivamente la brecha semántica emparejando por separado el subtítulo con tanto la pregunta como lo visual para generar funciones de pre-alineación para cada uno, que luego se utilizan en el proceso de fusión subsiguiente. También aprovechamos el hecho de que los pares V-C exhiben conexiones semánticas más fuertes en comparación con los pares pregunta-visual (Q-V) para emplear un mecanismo de aprendizaje contrastivo en pares visual y subtítulo para mejorar aún más las capacidades de alineación semántica de los codificadores de una sola modalidad. Experimentos extensivos realizados en tres conjuntos de datos de referencia demuestran que el modelo propuesto supera a los modelos VQA de última generación previos. Además, los experimentos de ablación confirman la efectividad de cada módulo en nuestro modelo. Además, realizamos un análisis cualitativo visualizando las matrices de atención para evaluar la fiabilidad del razonamiento del modelo propuesto.