Merkmalauswahl über regularisierte Bäume

Wir schlagen ein Baum-Regularisierungsframework vor, das es vielen Baum-Modellen ermöglicht, Merkmalsauswahl effizient durchzuführen. Die Hauptidee des Regularisierungsframeworks besteht darin, die Auswahl eines neuen Merkmals für die Aufspaltung zu bestrafen, wenn dessen Gewinn (z. B. Informationsgewinn) den Merkmalen ähnelt, die in vorherigen Aufteilungen verwendet wurden. Das Regularisierungsframework wird hier auf Random Forest und Boosted Trees angewendet und kann leicht auf andere Baum-Modelle angewendet werden. Experimentelle Studien zeigen, dass die regularisierten Bäume hochwertige Merkmalsuntergruppen hinsichtlich sowohl starker als auch schwacher Klassifizierer auswählen können. Da Baum-Modelle auf natürliche Weise mit kategorialen und numerischen Variablen, fehlenden Werten, unterschiedlichen Maßstäben zwischen Variablen, Interaktionen und Nichtlinearitäten usw. umgehen können, bietet das Baum-Regularisierungsframework eine effektive und effiziente Lösung zur Merkmalsauswahl für viele praktische Probleme.