Deep clustering of tabular data using diffusion models

Deep Clustering, ein Ansatz, bei dem neuronale Netze clustering-optimierte latente Repräsentationen erlernen, hat in den letzten Jahren an Bedeutung gewonnen. Während Deep Clustering für Bild- und Textdaten fortgeschritten ist, bleiben tabellarische Daten trotz ihrer wissenschaftlichen und wirtschaftlichen Relevanz untererforscht. Die fehlenden räumlichen Strukturen und Mischung aus Merkmalstypen erschweren hierbei die Repräsentationsqualität sowie die Anwendung neuronaler Netze. Gleichzeitig etablierten sich Diffusionsmodelle als leistungsstarke generative Modelle, die bisherige Ansätze konsequent übertreffen. Obwohl ursprünglich für Bilder entwickelt, wurden sie bereits für Deep Clustering und tabellarische Datengenerierung adaptiert. Dies führt zur Frage: Können Diffusionsmodelle einen wettbewerbsfähigen Deep-Clustering- Algorithmus für tabellarische Daten ermöglichen? Diese Arbeit adressiert diese Frage durch die Entwicklung von CluTaD, einem Deep- Clustering-Algorithmus, der ein auf tabellarische Daten ausgerichtetes Diffusionsmodell und eine auf tabellarische Daten ausgerichtete Zielfunktion integriert. Der vorgeschlagene Algorithmus bildet die ursprünglichen Eingangsmerkmale in latente Repräsentationen ab, die anschließend mittels eines Gaußschen Mischmodells (Gaussian Mixture Model) geclustert werden. Während der Trainingsphase wird den Eingangsdaten zuerst Rauschen hinzugefügt, danach dient ein speziell für tabellarische Daten entwickeltes Diffusionsmodell dem Denoising, konditioniert auf die oben genannten latenten Features. Dieses Ziel incentiviert die latenten Repräsentationen, ein Maximum an Information aus den Originaldaten beizubehalten. Gleichzeitig werden die Cluster-Zuweisungen mittels eines Multi-Layer-Perzeptrons auf Verteilungsschärfe optimiert. Die gemeinsame Optimierung der Entrauschungs- und Clustering-Ziele stellt sicher, dass die latenten Repräsentationen auf die Cluster-Trennbarkeit zugeschnitten und robust genug sind, um die ursprünglichen Datencharakteristika zu rekonstruieren. Die Methode wurde im Vergleich zu 12 Baseline-Clustering-Algorithmen anhand von 16 tabellarischen Datensätzen evaluiert, die verschiedene Dimensionalitäten, Clusterstrukturen und Merkmalsarten abdecken. Die Ergebnisse deuten darauf hin, dass CluTaD in Umgebungen mit sehr hochdimensionalen Merkmalsräumen oder in stark unbalancierten Szenarien mit nur zwei Clustern hinter den Erwartungen zurückbleibt. Speziell bei dem Datensatz mit 70 Merkmalen erreichte das Modell eine Clustering-Genauigkeit von nur 54.7%, obwohl bestehende Ansätze bis zu 99.9% erreichen. Zudem kollabierte es bei den unbalancierten Bi-Cluster-Datensätzen konsistent zu einer Ein-Cluster-Lösung. Dennoch demonstrierte das Modell eine robuste Leistung bei den übrigen Datensätzen. Konkret erzielte es bei 8 der 16 Datensätze die höchste Clustering-Genauigkeit. Die nennenswerteste Verbesserung war eine Steigerung der Genauigkeit um 5.3% gegenüber den bisherigen State-of-the-Art-Ergebnissen. Insgesamt führt diese Thesis einen diffusionsbasierten Deep-Clustering-Algorithmus für tabellarische Daten ein. Experimentelle Vergleiche zeigen, dass der Ansatz trotz spezifischer Limitationen in den meisten Szenarien State-of-the-Art-Leistungen erbringt.