Unüberwachtes Entdecken nichtlinearer Strukturen durch kontrastive Rückpropagation

Zusammenfassung Wir beschreiben eine Methode zur Modellierung hochdimensionaler Datenvektoren mithilfe eines unbeaufsichtigten, nichtlinearen, mehrschichtigen neuronalen Netzwerks, in dem die Aktivität jeder neuronalen Einheit einen additiven Beitrag zu einem globalen Energie-Score leistet, der anzeigt, wie überrascht das Netzwerk von dem Datenvektor ist. Die Verbindungsgewichte, die bestimmen, wie die Aktivität jeder Einheit von den Aktivitäten in früheren Schichten abhängt, werden erlernt, indem die Energie minimiert wird, die den tatsächlich beobachteten Datenvektoren zugewiesen ist, und die Energie maximiert wird, die „Konfabulationen“ zugewiesen ist, die erzeugt werden, indem ein beobachteter Datenvektor in eine Richtung perturbiert wird, die seine Energie unter dem aktuellen Modell verringert.