Dévoiler la robustesse des familles d'apprentissage automatique

Résumé L'évaluation des systèmes d'apprentissage automatique a généralement été limitée aux mesures de performance sur des ensembles de données propres et curés, ce qui peut ne pas refléter avec précision leur robustesse dans des situations réelles où la distribution des données peut varier du développement au déploiement, et où prédire fidèlement certaines instances pourrait être plus difficile que d'autres. Par conséquent, un aspect clé pour comprendre la robustesse est la difficulté des instances, qui se réfère au niveau de surprenante défaillance du système sur une instance spécifique. Nous présentons un cadre qui évalue la robustesse de différents modèles d'apprentissage automatique en utilisant des estimations basées sur la théorie de la réponse des éléments concernant la difficulté des instances pour les tâches supervisées. Ce cadre évalue les écarts de performance en appliquant des méthodes de perturbation qui simulent le bruit et la variabilité dans les conditions de déploiement. Nos résultats conduisent au développement d'une taxonomie complète des techniques d'apprentissage automatique, fondée à la fois sur la robustesse des modèles et sur la difficulté des instances, fournissant une compréhension plus profonde des forces et des limitations de certaines familles de modèles d'apprentissage automatique. Cette étude constitue une étape significative vers l'exposition des vulnérabilités de familles particulières de modèles d'apprentissage automatique.