Key points are not available for this paper at this time.
Die jüngsten Fortschritte in der neuralen Variationsinferenz haben eine Renaissance der tiefen latenten Variablenmodelle hervorgerufen. In diesem Papier stellen wir einen generischen Variationsinferenzrahmen für generative und bedingte Modelle von Text vor. Während traditionelle Variationsmethoden eine analytische Annäherung für die schwer fassbaren Verteilungen über latente Variablen ableiten, konstruieren wir hier ein Inferenznetzwerk, das auf dem diskreten Texteingang basiert, um die Variationsverteilung bereitzustellen. Wir validieren diesen Rahmen an zwei sehr unterschiedlichen Anwendungen des Textmodells, der generativen Dokumentenmodellierung und dem überwachten Fragenbeantworten. Unser neuronales Variationsdokumentenmodell kombiniert eine kontinuierliche stochastische Dokumentrepräsentation mit einem Bag-of-Words-generativen Modell und erzielt die niedrigsten gemeldeten Perplexitäten in zwei Standard-Testkorpora. Das neuronale Antwortauswahlsystem verwendet eine stochastische Repräsentationsschicht innerhalb eines Aufmerksamkeitsmechanismus, um die Semantik zwischen einem Frage-Antwort-Paar zu extrahieren. Bei zwei Benchmark-Tests für das Fragenbeantworten übertrifft dieses Modell alle zuvor veröffentlichten Benchmarks.
Miao et al. (Thu,) haben diese Frage untersucht.