Predicción Estructurada Semi-supervisada con Autoencoder CRF Neuronal

En este artículo proponemos un modelo de autoencoder CRF neuronal (NCRF-AE) de extremo a extremo para el aprendizaje semi-supervisado de problemas de predicción estructurada secuencial. Nuestro NCRF-AE consta de dos partes: un codificador que es un modelo CRF mejorado por redes neuronales profundas, y un decodificador que es un modelo generativo que intenta reconstruir la entrada. Nuestro modelo tiene una estructura unificada con diferentes funciones de pérdida para datos etiquetados y no etiquetados con parámetros compartidos. Desarrollamos una variación del algoritmo EM para optimizar simultáneamente tanto el codificador como el decodificador al desacoplar sus parámetros. Nuestros resultados experimentales sobre la tarea de etiquetado de Part-of-Speech (POS) en ocho idiomas diferentes, muestran que nuestro modelo puede superar a sistemas competitivos tanto en escenarios supervisados como semi-supervisados.