Rotation Forest: Eine neue Methode für Klassifikator-Ensembles

Wir schlagen eine Methode zur Generierung von Klassifikator-Ensembles basierend auf Merkmalsextraktion vor. Um die Trainingsdaten für einen Basisklassifikator zu erstellen, wird der Merkmalsatz zufällig in K Teilmengen (K ist ein Parameter des Algorithmus) aufgeteilt und die Hauptkomponentenanalyse (PCA) wird auf jede Teilmenge angewendet. Alle Hauptkomponenten werden beibehalten, um die Variabilitätsinformationen in den Daten zu bewahren. Somit finden K-Achsenrotationen statt, um die neuen Merkmale für einen Basisklassifikator zu bilden. Die Idee des Rotationsansatzes ist es, sowohl individuelle Genauigkeit als auch Diversität innerhalb des Ensembles gleichzeitig zu fördern. Diversität wird durch die Merkmalsextraktion für jeden Basisklassifikator gefördert. Entscheidungsbäume wurden hier gewählt, da sie empfindlich auf die Rotation der Merkmalsachsen reagieren, hence der Name „Wald.“ Genauigkeit wird angestrebt, indem alle Hauptkomponenten beibehalten und auch der gesamte Datensatz verwendet wird, um jeden Basisklassifikator zu trainieren. Mit WEKA haben wir das Rotation Forest-Ensemble an einer zufälligen Auswahl von 33 Benchmark-Datensätzen aus dem UCI-Repository untersucht und mit Bagging, AdaBoost und Random Forest verglichen. Die Ergebnisse waren zugunsten von Rotation Forest und regten eine Untersuchung der Diversitäts-Genauigkeitslandschaft der Ensemble-Modelle an. Vielfalt-Fehler-Diagramme zeigten, dass Rotation Forest-Ensembles individuelle Klassifikatoren konstruieren, die genauere Ergebnisse liefern als diese bei AdaBoost und Random Forest, und vielfältiger sind als diese bei Bagging, manchmal auch genauer.