Similarité de document utilisant la représentation fréquence de terme-fréquence inverse de document et similarité cosinus

La similarité de document est une tâche fondamentale dans le traitement du langage naturel et la récupération d'information, avec des applications allant de la détection de plagiat aux systèmes de recommandation. Dans cette étude, nous tirons parti de la fréquence de terme-fréquence inverse de document (TF-IDF) pour représenter les documents dans un espace vectoriel de haute dimension, capturant leur contenu unique tout en atténuant l'influence des termes communs. Par la suite, nous employons la métrique de similarité cosinus pour mesurer la similarité entre les paires de documents, qui évalue l'angle entre leurs vecteurs TF-IDF respectifs. Pour évaluer l'efficacité de notre approche, nous avons réalisé des expériences sur le jeu de données Document Similarity Triplets Dataset, un jeu de données de référence spécifiquement conçu pour évaluer les techniques de similarité de document. Nos résultats expérimentaux démontrent une performance significative avec un score d'exactitude de 93,6 % en utilisant une représentation uniquement de bigrammes. Cependant, nous avons observé des cas où des prévisions fausses se sont produites en raison de documents associés ayant des termes similaires mais des sémantiques différentes, révélant une faiblesse de l'approche TF-IDF. Pour remédier à cette limitation, les recherches futures pourraient se concentrer sur l'augmentation des représentations de documents avec des caractéristiques sémantiques. L'incorporation d'informations sémantiques, telles que les embeddings de mots ou les embeddings contextuels, pourrait améliorer la capacité du modèle à capturer des relations sémantiques nuancées entre les documents, améliorant ainsi l'exactitude dans des scénarios où le chevauchement de termes ne signifie pas adéquatement la similarité.