Enfocando Más Atención en la Base Visual: Redes de Refinamiento Moduladas por Consulta para el Enraizamiento Visual de Extremo a Extremo

El enraizamiento visual se centra en establecer una alineación de grano fino entre la visión y el lenguaje natural, que tiene aplicaciones esenciales en sistemas de razonamiento multimodal. Los métodos existentes utilizan estructuras visuales indiferentes a las consultas preentrenadas para extraer mapas de características visuales de manera independiente sin considerar la información de la consulta. Argumentamos que las características visuales extraídas de las estructuras visuales y las características realmente necesarias para el razonamiento multimodal son inconsistentes. Una razón es que hay diferencias entre las tareas de preentrenamiento y el enraizamiento visual. Además, dado que las estructuras son indiferentes a las consultas, es difícil evitar completamente el problema de inconsistencia al entrenar la estructura visual de extremo a extremo en el marco del enraizamiento visual. En este documento, proponemos una Red de Refinamiento Moduladas por Consulta (QRNet) para abordar el problema de inconsistencia ajustando características intermedias en la estructura visual con un novedoso mecanismo de Atención Dinámica Consciente de Consulta (QD-ATT) y fusión multiescala consciente de consulta. El QD-ATT puede calcular dinámicamente la atención visual dependiente de la consulta a niveles espaciales y de canal de los mapas de características producidos por la estructura visual. Aplicamos el QRNet a un marco de enraizamiento visual de extremo a extremo. Extensos experimentos muestran que el método propuesto supera a los métodos de última generación en cinco conjuntos de datos ampliamente utilizados. Nuestro código está disponible en https://github.com/LukeForeverYoung/QRNet.