Consulta y Salida: Generación de Palabras mediante Consulta de Representaciones Distribuidas de Palabras para Generación de Parafrasis

Los enfoques más recientes utilizan el modelo de secuencia a secuencia para la generación de parafrasis. El modelo de secuencia a secuencia existente tiende a memorizar las palabras y los patrones en el conjunto de datos de entrenamiento en lugar de aprender el significado de las palabras. Por lo tanto, las oraciones generadas son a menudo gramaticalmente correctas pero semánticamente inapropiadas. En este trabajo, introducimos un nuevo modelo basado en el marco de codificador-decodificador, llamado Red de Atención de Embeddings de Palabras (WEAN). Nuestro modelo propuesto genera las palabras consultando representaciones distribuidas de palabras (es decir, embeddings neurales de palabras), con la esperanza de capturar el significado de las palabras correspondientes. Siguiendo trabajos previos, evaluamos nuestro modelo en dos tareas orientadas a la parafrasis, a saber, la simplificación de texto y la resumición abstracta de texto breve. Los resultados experimentales muestran que nuestro modelo supera la línea base de secuencia a secuencia por el puntaje BLEU de 6.3 y 5.5 en dos conjuntos de datos de simplificación de texto en inglés, y el puntaje F1 ROUGE-2 de 5.7 en un conjunto de datos de resumición en chino. Además, nuestro modelo logra un rendimiento de estado del arte en estos tres conjuntos de datos de referencia.