Modelo Bi-LSTM para Aumentar la Precisión en la Clasificación de Textos: Combinando Word2vec CNN y Mecanismo de Atención

Hay una necesidad de extraer información significativa de grandes datos, clasificarla en diferentes categorías y predecir el comportamiento o emociones del usuario final. Se generan grandes cantidades de datos de diversas fuentes, como redes sociales y sitios web. La clasificación de textos es un tema de investigación representativo en el campo del procesamiento del lenguaje natural que categoriza datos de texto no estructurados en clases categóricas significativas. El modelo de memoria a largo plazo y corto plazo (LSTM) y la red neuronal convolucional para la clasificación de oraciones producen resultados precisos y se han utilizado recientemente en diversas tareas de procesamiento del lenguaje natural (NLP). Los modelos de red neuronal convolucional (CNN) utilizan capas convolucionales y capas de pooling máximo o pooling de máximos a través del tiempo para extraer características de mayor nivel, mientras que los modelos LSTM pueden capturar dependencias a largo plazo entre secuencias de palabras, por lo que son mejores para la clasificación de textos. Sin embargo, incluso con el enfoque híbrido que aprovecha las potencias de estos dos modelos de aprendizaje profundo, el número de características a recordar para la clasificación sigue siendo enorme, lo que obstaculiza el proceso de entrenamiento. En este estudio, proponemos un modelo híbrido Bi-LSTM+CNN basado en atención que capitaliza las ventajas de LSTM y CNN con un mecanismo de atención adicional. Entrenamos el modelo utilizando los datos de reseñas de películas de la base de datos de películas de Internet (IMDB) para evaluar el rendimiento del modelo propuesto, y los resultados de las pruebas mostraron que el modelo híbrido de atención Bi-LSTM+CNN propuesto produce resultados de clasificación más precisos, así como mayores puntuaciones de recall y F1, que los modelos de perceptrón multicapa (MLP) individuales, CNN o LSTM, así como los modelos híbridos.