Aprendizaje de Representaciones Desentrelazadas Guiadas por Auto-supervisión para el Análisis Multimodal de Sentimientos y la Evaluación de la Esquizofrenia

A medida que aumenta el impacto de los trastornos mentales crónicos, el análisis multimodal de sentimientos (AMS) ha surgido para mejorar el diagnóstico y tratamiento. En este artículo, nuestro enfoque aprovecha el aprendizaje de representaciones desentrelazadas para abordar la heterogeneidad de modalidades con el aprendizaje auto-supervisado como guía. Se propone el aprendizaje auto-supervisado para generar etiquetas pseudo unimodales y guiar el aprendizaje de representaciones específicas de la modalidad, evitando la adquisición de características sin sentido. Además, también proponemos una fusión centrada en el texto para mitigar de manera efectiva los impactos del ruido y la información redundante y fusionar las representaciones desentrelazadas adquiridas en una representación multimodal integral. Evaluamos nuestro modelo en tres conjuntos de datos de referencia disponibles públicamente para el análisis multimodal de sentimientos y un conjunto de datos recopilado de forma privada centrado en el asesoramiento sobre esquizofrenia. Los resultados experimentales demuestran un rendimiento de última generación en varias métricas en los conjuntos de datos de referencia, superando trabajos relacionados. Además, nuestro algoritmo de aprendizaje muestra un rendimiento prometedor en aplicaciones del mundo real, superando nuestro trabajo anterior y logrando un progreso significativo en la evaluación de la esquizofrenia.