Un autoencodificador neural jerárquico para párrafos y documentos

La generación de lenguaje natural de textos largos coherentes, como párrafos o documentos más largos, es un problema desafiante para los modelos de redes recurrentes. En este artículo, exploramos un paso importante hacia esta tarea de generación: entrenar un autoencodificador LSTM (memoria a corto y largo plazo) para preservar y reconstruir párrafos de múltiples oraciones. Presentamos un modelo LSTM que construye jerárquicamente una incrustación para un párrafo a partir de incrustaciones para oraciones y palabras, y luego decodifica esta incrustación para reconstruir el párrafo original. Evaluamos el párrafo reconstruido utilizando métricas estándar como ROUGE y Entity Grid, mostrando que los modelos neuronales son capaces de codificar textos de una manera que preserva la coherencia sintáctica, semántica y del discurso. Aunque es solo un primer paso hacia la generación de unidades textuales coherentes a partir de modelos neuronales, nuestro trabajo tiene el potencial de impactar significativamente en la generación de lenguaje natural y en la resumisión. {El código para los tres modelos descritos en este artículo se puede encontrar en www.stanford.edu/~jiweil/.