Predicción de Turnos y Respuestas en Diálogo con Fusión de Modelos Acústicos y de Lenguaje Grande

Proponemos un enfoque para la predicción continua de turnos y localizaciones de respuesta en diálogos hablados mediante la fusión de un modelo acústico neuronal con un modelo de lenguaje grande (LLM). Experimentos en el conjunto de datos de conversación humano-humano Switchboard demuestran que nuestro enfoque supera consistentemente a los modelos de referencia con una sola modalidad. También desarrollamos una nueva estrategia de ajuste fino de instrucciones multitarea para beneficiarnos aún más del conocimiento codificado en LLM para comprender las tareas y contextos conversacionales, lo que conduce a mejoras adicionales. Nuestro enfoque demuestra el potencial de combinar LLMs y modelos acústicos para una interacción más natural y conversacional entre humanos y agentes de IA habilitados para el habla.