Word2Vec appliqué à la recommandation : l'importance des hyperparamètres

Le skip-gram avec échantillonnage négatif, une variante populaire de Word2Vec initialement conçue et ajustée pour créer des représentations de mots pour le traitement du langage naturel, a été utilisé pour créer des représentations d'articles avec des applications réussies en recommandation. Bien que ces domaines ne partagent pas le même type de données et n'évaluent pas les mêmes tâches, les applications de recommandation ont tendance à utiliser les mêmes valeurs d'hyperparamètres déjà ajustées, même si les valeurs optimales des hyperparamètres sont souvent connues pour dépendre des données et des tâches. Nous examinons donc l'importance marginale de chaque hyperparamètre dans un contexte de recommandation à travers de grandes recherches sur les grilles d'hyperparamètres sur divers ensembles de données. Les résultats révèlent que l'optimisation des hyperparamètres négligés, à savoir la distribution d'échantillonnage négatif, le nombre d'époques, le paramètre de sous-échantillonnage et la taille de la fenêtre, améliore significativement les performances sur une tâche de recommandation, et peut l'augmenter d'un ordre de grandeur. Il est important de noter que nous trouvons que les configurations optimales des hyperparamètres pour les tâches de traitement du langage naturel et les tâches de recommandation sont nettement différentes.