Conséquences de la variabilité des estimations de performance des classificateurs

L'approche prédominante pour évaluer les classificateurs dans la communauté de l'apprentissage automatique consiste à comparer la performance de plusieurs algorithmes sur une série de jeux de données généralement non reliés. Cependant, au-delà de cela, il existe de nombreuses dimensions le long desquelles les méthodologies varient considérablement. Nous montrons qu'en fonction de la stabilité et de la similarité des algorithmes comparés, ces choix méthodologiques parfois arbitraires peuvent avoir un impact significatif sur les conclusions de toute étude, y compris les résultats des tests statistiques. En particulier, nous montrons que les métriques de performance et les jeux de données utilisés, le type de validation croisée employé et le nombre d'itérations de validation croisée exécutées ont un effet significatif, et souvent prévisible. Sur la base de ces résultats, nous proposons une série de recommandations pour obtenir des résultats cohérents et reproductibles dans les comparaisons de performance des classificateurs.