Variationale Bayesische Inferenz mit stochastischer Suche

Die Mittelwertfeld-variational inference ist eine Methode zur approximativen bayesischen posterioren Inferenz. Sie approximiert eine vollständige posteriorverteilung mit einer faktorisierenden Menge von Verteilungen, indem sie eine untere Schranke der marginalen Wahrscheinlichkeit maximiert. Dies erfordert die Fähigkeit, eine Summe von Termen in der log-joint-Likelihood unter Verwendung dieser faktorisierenden Verteilung zu integrieren. Oft liegen nicht alle Integrale in geschlossener Form vor, was typischerweise durch die Verwendung einer unteren Schranke gehandhabt wird. Wir präsentieren einen alternativen Algorithmus, der auf stochastischer Optimierung basiert und eine direkte Optimierung der variationalen unteren Schranke ermöglicht. Diese Methode verwendet Kontrollvariablen, um die Varianz des stochastischen Suchgradienten zu reduzieren, wobei bestehende untere Schranken eine wichtige Rolle spielen können. Wir demonstrieren den Ansatz an zwei nicht-konjugierten Modellen: logistische Regression und eine Approximation des HDP.