Aprendizaje Multimodal Armonizado con Modelos de Variables Latentes de Procesos Gaussianos

El aprendizaje multimodal tiene como objetivo descubrir la relación entre múltiples modalidades. Se ha convertido en un tema de investigación importante debido a amplias aplicaciones multimodales, como la recuperación cruzada de modalidades. Este artículo intenta abordar el problema de la heterogeneidad de modalidades basado en modelos de variables latentes de procesos gaussianos (GPLVM) para representar datos multimodales en un espacio común. Las extensiones anteriores de GPLVM multimodal generalmente adoptan esquemas de aprendizaje individuales en representaciones latentes y hiperparámetros de kernel, lo que ignora su relación intrínseca. Para aprovechar la fuerte complementariedad entre diferentes modalidades y componentes de GPLVM, desarrollamos un nuevo esquema de aprendizaje llamado Armonización, donde las representaciones latentes y los hiperparámetros de kernel se aprenden conjuntamente entre sí. Más allá de los paradigmas de ajuste de correlación o preservación de estructuras intra-modal que se utilizan ampliamente en estudios existentes, la armonización se deriva de manera orientada al modelo para fomentar el acuerdo entre kernels GP específicos de modalidad y la similitud de representaciones latentes. Presentamos una variedad de modelos de aprendizaje multimodal incorporando el mecanismo de armonización en varios enfoques representativos basados en GPLVM. Los resultados experimentales en cuatro conjuntos de datos de referencia muestran que los modelos propuestos superan las fuertes líneas base en tareas de recuperación cruzada de modalidades, y que el método de aprendizaje multimodal armonizado es superior en descubrir representaciones latentes semánticamente consistentes.