Ein schneller Lernalgorithmus für tiefe Glaubensnetze

Wir zeigen, wie man „komplementäre Priors“ verwendet, um die Erklärungs-weg-Effekte zu eliminieren, die die Inferenz in dicht verbundenen Glaubensnetzen mit vielen versteckten Schichten erschweren. Mithilfe komplementärer Priors leiten wir einen schnellen, gierigen Algorithmus ab, der tiefe, gerichtete Glaubensnetzwerke schichtweise lernen kann, vorausgesetzt, die obersten zwei Schichten bilden ein ungerichtetes assoziatives Gedächtnis. Der schnelle, gierige Algorithmus wird verwendet, um ein langsameres Lernverfahren zu initialisieren, das die Gewichte mithilfe einer kontrastiven Version des Wake-Sleep-Algorithmus feinjustiert. Nach der Feinjustierung bildet ein Netzwerk mit drei versteckten Schichten ein sehr gutes generatives Modell der gemeinsamen Verteilung handschriftlicher Ziffernbilder und ihrer Labels. Dieses generative Modell liefert eine bessere Ziffernklassifikation als die besten diskriminativen Lernalgorithmen. Die niedrigdimensionalen Mannigfaltigkeiten, auf denen die Ziffern liegen, werden durch lange Schluchten in der freien Energie-Landschaft des assoziativen Gedächtnisses auf oberster Ebene modelliert, und es ist einfach, diese Schluchten zu erforschen, indem man die gerichteten Verbindungen nutzt, um anzuzeigen, was das assoziative Gedächtnis sich vorstellt.