Una estrategia de anclaje de capas para mejorar el reconocimiento de emociones en el habla cruzada

El reconocimiento de emociones en el habla cruzada (SER) es importante para una amplia gama de aplicaciones cotidianas. Aunque la investigación reciente en SER se basa en gran medida en grandes modelos preentrenados para el entrenamiento de emociones, los estudios existentes a menudo se concentran únicamente en la capa final del transformador de estos modelos. Sin embargo, dada la naturaleza específica de la tarea y la arquitectura jerárquica de estos modelos, cada capa del transformador encapsula diferentes niveles de información. Aprovechando esta estructura jerárquica, nuestro estudio se centra en la información incrustada en diferentes capas. A través de un examen de la similitud de características de la capa en diferentes idiomas, proponemos una estrategia novedosa llamada mecanismo de anclaje de capas para facilitar la transferencia emocional en tareas de SER cruzadas. Nuestro enfoque se evalúa utilizando dos corpus afectivos de lenguas distintas (MSP-Podcast y BIIC-Podcast), logrando un mejor rendimiento UAR del 60.21% en el corpus de BIIC-podcast. El análisis revela ideas interesantes sobre el comportamiento de modelos preentrenados populares.