Reestructuración de modelos acústicos de redes neuronales profundas con descomposición en valores singulares

Las redes neuronales profundas (DNN) propuestas recientemente obtienen mejoras significativas en la precisión en muchas tareas de reconocimiento de voz continua de vocabulario amplio (LVCSR). Sin embargo, las DNN requieren muchos más parámetros que los sistemas tradicionales, lo que conlleva un alto costo durante la evaluación en línea y también limita la aplicación de las DNN en muchos escenarios. En este trabajo presentamos nuestro nuevo esfuerzo en DNN con el objetivo de reducir el tamaño del modelo manteniendo las mejoras en precisión. Aplicamos la descomposición en valores singulares (SVD) a las matrices de pesos en DNN y luego reestructuramos el modelo basado en la escasez inherente de las matrices originales. Después de la reestructuración, podemos reducir significativamente el tamaño del modelo DNN con una pérdida de precisión negligible. También ajustamos finamente el modelo reestructurado utilizando el método de retropropagación regular para recuperar la precisión al reducir drásticamente el tamaño del modelo DNN. El método propuesto ha sido evaluado en dos tareas de LVCSR, con un modelo oculto de Markov dependiente del contexto DNN (CD-DNN-HMM). Los resultados experimentales muestran que el enfoque propuesto reduce drásticamente el tamaño del modelo DNN en más del 80% sin perder precisión. Términos indexados: red neuronal profunda, descomposición en valores singulares, reestructuración del modelo.