Modelo de Lenguaje Recurrente de Caracteres y Palabras con Puerta

Introducimos un modelo de lenguaje de red neuronal recurrente (RNN-LM) con unidades de memoria a largo y corto plazo (LSTM) que utiliza tanto entradas a nivel de caracter como entradas a nivel de palabra. Nuestro modelo tiene una puerta que encuentra adaptativamente la mezcla óptima de las entradas a nivel de caracter y a nivel de palabra. La puerta crea la representación vectorial final de una palabra combinando dos representaciones distintas de la palabra. Las entradas a nivel de caracter se convierten en representaciones vectoriales de palabras utilizando un LSTM bidireccional. Las entradas a nivel de palabra se proyectan en otro espacio de alta dimensionalidad mediante una tabla de búsqueda de palabras. Las representaciones vectoriales finales de las palabras se utilizan en el modelo de lenguaje LSTM que predice la siguiente palabra dadas todas las palabras precedentes. Nuestro modelo con el mecanismo de puerta utiliza efectivamente las entradas a nivel de caracter para palabras raras y fuera de vocabulario, superando a los modelos de lenguaje a nivel de palabra en varios corpus en inglés.