HPT++: Promoción Jerárquica de Modelos de Visión-Lenguaje con Generación de Conocimiento de Multi-Grano y Mejora del Modelado Estructural

El aprendizaje por indicaciones se ha convertido en una estrategia prevalente para adaptar los modelos de fundación de visión-lenguaje (VLMs) como CLIP a tareas posteriores. Con la aparición de grandes modelos de lenguaje (LLMs), estudios recientes han explorado el potencial de utilizar descripciones relacionadas con categorías para mejorar la efectividad de las indicaciones. Sin embargo, las descripciones convencionales carecen de la información estructurada explícita necesaria para representar las interconexiones entre elementos clave como entidades o atributos en relación con una categoría particular. Dado que los métodos existentes de ajuste de indicaciones prestan poca atención a la gestión del conocimiento estructurado, este documento aboga por aprovechar los LLMs para construir un grafo para cada descripción y priorizar dicho conocimiento estructurado. En consecuencia, proponemos un enfoque novedoso llamado Ajuste de Indicaciones Jerárquico (HPT), que permite el modelado simultáneo de conocimiento lingüístico estructurado y convencional. Específicamente, introducimos un módulo de atención guiado por relaciones para capturar asociaciones par a par entre entidades y atributos para el aprendizaje de indicaciones de bajo nivel. Además, al incorporar el modelado de indicaciones de alto nivel y nivel global de la semántica general, la estructura jerárquica propuesta forja interconexiones entre niveles y empodera al modelo para manejar relaciones más complejas y a largo plazo. Finalmente, al mejorar la generación de conocimiento de multi-grano, rediseñar el módulo de re-pesado de atención impulsado por relaciones e incorporar restricciones consistentes en el codificador de texto jerárquico, proponemos HPT++, que mejora aún más el rendimiento de HPT. Nuestros experimentos se llevan a cabo en una amplia gama de configuraciones de evaluación, incluyendo generalización de base a nueva, evaluación cruzada de conjuntos de datos y generalización de dominio. Resultados extensos y estudios de ablación demuestran la efectividad de nuestros métodos, que superan consistentemente los métodos SOTA existentes.