Informations-theoretische Verallgemeinerungsanalyse für VQ-VAEs: Eine Rolle der latenten Variablen

Latente Variablen (LVs) spielen eine entscheidende Rolle in Encoder-Decoder-Modellen, indem sie eine effektive Datenkompression, Vorhersage und Generierung ermöglichen. Obwohl ihre theoretischen Eigenschaften, wie die Verallgemeinerung, im überwachten Lernen umfassend untersucht wurden, bleiben ähnliche Analysen für unüberwachte Modelle wie Variationale Autoencoder (VAEs) unzureichend erforscht. In dieser Arbeit erweitern wir die informations-theoretische Verallgemeinerungsanalyse auf Vektorisierte Quantisierungs-(VQ) VAEs mit diskreten latenten Räumen und führen einen neuartigen databhängigen Prior ein, um die Beziehung zwischen LVs, Verallgemeinerung und Datengenerierung rigoros zu analysieren. Wir leiten eine neuartige Verallgemeinerungsfehlergrenze für den Rekonstruktionsverlust von VQ-VAEs ab, die allein von der Komplexität der LVs und dem Encoder abhängt, unabhängig vom Decoder. Darüber hinaus geben wir die obere Grenze der 2-Wasserstein-Distanz zwischen den Verteilungen der echten Daten und den generierten Daten an und erklären, wie die Regularisierung der LVs zur Leistung der Datengenerierung beiträgt.