f-GAN: Training generative neuronaler Sampler mittels Variational Divergence Minimierung

Generative neuronale Sampler sind probabilistische Modelle, die Sampling mit Feedforward-Neuronalen-Netzwerken implementieren: Sie nehmen einen zufälligen Eingabvektor und erzeugen eine Probe aus einer Wahrscheinlichkeitsverteilung, die durch die Netzwerkgewichte definiert ist. Diese Modelle sind ausdrucksstark und ermöglichen eine effiziente Berechnung von Proben und Ableitungen, können jedoch nicht zur Berechnung von Wahrscheinlichkeiten oder zur Marginalisierung verwendet werden. Die generativ-adversarielle Trainingsmethode ermöglicht es, solche Modelle durch den Einsatz eines zusätzlichen diskriminativen neuronalen Netzwerks zu trainieren. Wir zeigen, dass der generativ-adversarielle Ansatz ein Spezialfall eines bestehenden allgemeineren Ansatzes zur Schätzung der Variationsdivergenz ist. Wir zeigen, dass jede f-Divergenz zum Training generativer neuronaler Sampler verwendet werden kann. Wir diskutieren die Vorteile verschiedener Wahlmöglichkeiten von Divergenzfunktionen hinsichtlich der Trainingskomplexität und der Qualität der erhaltenen generativen Modelle.