Skalierbares Bayessches Lernen mit Posteriors

Obwohl theoretisch überzeugend, ist bayessches Lernen mit modernen Maschinenlernmodellen rechnerisch herausfordernd, da es erforderlich ist, eine hochdimensionale posterior Verteilung zu approximieren. In dieser Arbeit (i) stellen wir Posteriors vor, eine leicht erweiterbare PyTorch-Bibliothek, die allgemeine Implementierungen bereitstellt und bayessches Lernen für große Daten- und Parameterregime zugänglich und skalierbar macht; (ii) präsentieren wir einen temperierten Rahmen für stochastische Gradienten Markov-Ketten Monte Carlo, wie in Posteriors implementiert, der nahtlos in die Optimierung übergeht und eine geringfügige Modifikation für tiefe Ensembles offenbart, um sicherzustellen, dass sie asymptotisch unverzerrt für das bayessche Posterior sind, und (iii) demonstrieren und vergleichen wir die Nützlichkeit von bayesschen Approximationen durch Experimente, einschließlich einer Untersuchung des kalten Posterior-Effekts und Anwendungen mit großen Sprachmodellen.