Comparación de embeddings de palabras en clasificación de texto basada en RNN y CNN

Resumen Este documento presenta una comparación de embeddings de palabras en la clasificación de texto utilizando RNN y CNN. En el campo de la clasificación de imágenes, los métodos de aprendizaje profundo como RNN y CNN han demostrado ser populares. CNN es el modelo más popular entre las técnicas de aprendizaje profundo en el campo del NLP debido a su simplicidad y paralelismo, incluso si el conjunto de datos es enorme. Las técnicas de embeddings de palabras empleadas son GloVe y fastText. El uso de diferentes embeddings de palabras mostró una gran diferencia en la precisión de los modelos. Cuando se trata de embeddings de palabras raras, GloVe a veces puede tener un rendimiento deficiente. Para abordar este problema, se utiliza el método fastText. Las redes neuronales profundas con fastText mostraron una mejora notable en la precisión en comparación con GloVe. Sin embargo, fastText tomó más tiempo en entrenar en comparación con GloVe. Además, la precisión se mejoró al minimizar el tamaño del lote. Finalmente, concluimos que los embeddings de palabras tienen un gran impacto en el rendimiento de los modelos de clasificación de texto.