Representaciones de Frases Aprendidas usando RNN Encoder-Decoder para Traducción Automática Estadística

En este artículo, proponemos un nuevo modelo de red neuronal llamado RNN Encoder-Decoder que consta de dos redes neuronales recurrentes (RNN). Una RNN codifica una secuencia de símbolos en una representación vectorial de longitud fija, y la otra decodifica la representación en otra secuencia de símbolos. El codificador y el decodificador del modelo propuesto se entrenan conjuntamente para maximizar la probabilidad condicional de una secuencia objetivo dada una secuencia fuente. Se ha encontrado empíricamente que el rendimiento de un sistema de traducción automática estadística mejora al utilizar las probabilidades condicionales de pares de frases calculadas por el RNN Encoder-Decoder como una característica adicional en el modelo logarítmico lineal existente. Cualitativamente, mostramos que el modelo propuesto aprende una representación semánticamente y sintácticamente significativa de frases lingüísticas.