Filtre LDA : une méthode de prétraitement d'Allocation de Dirichlet Latente pour Weka

Ce travail présente une méthode alternative pour représenter des documents basée sur LDA (Allocation de Dirichlet Latente) et comment cela affecte les algorithmes de classification, par rapport à la représentation textuelle classique. LDA suppose que chaque document traite un ensemble de sujets prédéfinis, qui sont des distributions sur tout le vocabulaire. Notre objectif principal est d'utiliser la probabilité qu'un document appartienne à chaque sujet pour implémenter un nouveau modèle de représentation textuelle. Cette technique proposée est déployée comme une extension du logiciel Weka sous forme de nouveau filtre. Pour démontrer ses performances, le filtre créé est testé avec différents classificateurs tels qu'une Machine à Vecteurs de Support (SVM), k-Plus Proches Voisins (k-NN) et Naive Bayes dans différents corpus documentaires (OHSUMED, Reuters-21578, 20Newsgroup, Yahoo! Answers, YELP Polarity, et TREC Genomics 2015). Ensuite, il est comparé à la technique de représentation Bag of Words (BoW). Les résultats suggèrent que l'application de notre filtre proposé atteint une précision similaire à celle de BoW mais améliore considérablement les temps de traitement de la classification.