Inferenze Suboptimalität in Variationalen Autoencodern

Amortisierte Inferenz erlaubt es latenten Variablenmodellen, die durch variationales Lernen trainiert wurden, auf große Datensätze zu skalieren. Die Qualität der approximativen Inferenz wird durch zwei Faktoren bestimmt: a) die Kapazität der variationalen Verteilung, die wahre Posteriorverteilung zu erfassen, und b) die Fähigkeit des Erkennungsnetzwerks, gute variationale Parameter für jeden Datenpunkt zu erzeugen. Wir untersuchen die approximative Inferenz in variationalen Autoencodern im Hinblick auf diese Faktoren. Wir stellen fest, dass die Abweichung von der wahren Posteriorverteilung oft auf unvollkommene Erkennungsnetzwerke zurückzuführen ist, anstatt auf die begrenzte Komplexität der approximierenden Verteilung. Wir zeigen, dass dies zum Teil darauf zurückzuführen ist, dass der Generator lernt, die Wahl der Annäherung zu berücksichtigen. Darüber hinaus zeigen wir, dass die Parameter, die verwendet werden, um die Ausdruckskraft der Annäherung zu erhöhen, eine Rolle bei der Generalisierung der Inferenz spielen, anstatt einfach die Komplexität der Annäherung zu verbessern.