SepALM: Modelos de Linguagem de Áudio São Corretor de Erros para Separação de Fala Robusta

Enquanto as tecnologias contemporâneas de separação de fala processam habilidosamente longas formas de onda de áudio misturadas, elas frequentemente enfrentam desafios devido às complexidades dos ambientes do mundo real, incluindo configurações ruidosas e reverberantes, o que pode resultar em artefatos ou distorções na fala separada. Para superar essas limitações, apresentamos o SepALM, uma abordagem pioneira que emprega modelos de linguagem de áudio (ALMs) para retificar e re-sintetizar a fala dentro do domínio do texto após a separação preliminar. O SepALM compreende quatro componentes principais: um separador, um corretor, um sintetizador e um alinhador. Ao integrar um mecanismo de correção de erros de ponta a ponta baseado em ALM, mitigamos o risco de acumulação de erros e contornamos os desafios de otimização tipicamente encontrados em métodos convencionais que amalgamam reconhecimento automático de fala (ASR) com grandes modelos de linguagem (LLMs). Além disso, desenvolvemos técnicas de prompt Chain-of-Thought (CoT) e destilação de conhecimento para facilitar os processos de raciocínio e treinamento do ALM. Nossos experimentos comprovam que o SepALM não só eleva a precisão da separação de fala, mas também aumenta significativamente a adaptabilidade em novos ambientes acústicos.