Allègement de l'hypothèse d'indépendance des attributs de Naive Bayes par le biais de la pondération des attributs

Malgré la simplicité du classificateur Naive Bayes, il continue à bien performer face à des concurrents plus sophistiqués et reste donc d'un grand intérêt pour la communauté d'apprentissage automatique. Parmi les nombreuses approches visant à affiner le classificateur Naive Bayes, la pondération des attributs a reçu moins d'attention qu'elle ne le mérite. La plupart des approches, peut-être influencées par la pondération des attributs dans d'autres algorithmes d'apprentissage automatique, utilisent la pondération pour accorder plus d'importance aux attributs très prédictifs qu'à ceux qui le sont moins. Dans cet article, nous soutenons que pour Naive Bayes, la pondération des attributs devrait plutôt être utilisée pour atténuer l'hypothèse d'indépendance conditionnelle. Basé sur ce postulat, nous proposons un algorithme Naive Bayes pondéré, appelé WANBIA, qui sélectionne des poids pour minimiser soit le log-vraisemblance conditionnelle négative soit les fonctions objectifs de l'erreur quadratique moyenne. Nous effectuons des évaluations approfondies et constatons que WANBIA est une alternative compétitive aux classificateurs à la pointe de la technologie comme Random Forest, Régression Logistique et A1DE. © 2013 Nayyar A. Zaidi, Jesus Cerquides, Mark J. Carman et Geoffrey I. Webb.