Sélection de caractéristiques basée sur les marges - théorie et algorithmes

La sélection de caractéristiques est la tâche consistant à choisir un petit ensemble parmi un ensemble donné de caractéristiques qui capturent les propriétés pertinentes des données. Dans le contexte des problèmes de classification supervisée, la pertinence est déterminée par les étiquettes données sur les données d'entraînement. Un bon choix de caractéristiques est essentiel pour construire des classificateurs compacts et précis. Dans cet article, nous introduisons un critère de sélection de caractéristiques basé sur les marges et l'appliquons pour mesurer la qualité des ensembles de caractéristiques. En utilisant des marges, nous concevons de nouveaux algorithmes de sélection pour des problèmes de classification multi-classe et fournissons une borne de généralisation théorique. Nous étudions également l'algorithme bien connu Relief et montrons qu'il ressemble à une montée de gradient sur notre critère de marge. Nous appliquons notre nouvel algorithme à divers ensembles de données et montrons que notre nouvel algorithme Simba, qui optimise directement la marge, surpasse Relief.