Detectar la conversación: diarización de hablantes en el entorno natural

El objetivo de este artículo es la diarización de hablantes en videos recopilados ‘en el entorno natural’. Hacemos tres contribuciones clave. Primero, proponemos un método automático de diarización audiovisual para videos de YouTube. Nuestro método consiste en la detección de hablantes activos utilizando métodos audiovisuales y verificación de hablantes utilizando modelos de hablantes auto-inscritos. En segundo lugar, integramos nuestro método en una tubería de creación de conjuntos de datos semi-automática que reduce significativamente el número de horas requeridas para anotar videos con etiquetas de diarización. Finalmente, utilizamos esta tubería para crear un conjunto de datos de diarización a gran escala llamado VoxConverse, recopilado de videos ‘en el entorno natural’, que publicaremos públicamente para la comunidad investigadora. Nuestro conjunto de datos consta de discurso superpuesto, un gran y diverso grupo de hablantes, y condiciones de fondo desafiantes.