Verbesserung des Deep Reinforcement Learning mit Übergangsvariationalautoencodern: Eine Anwendung im Gesundheitswesen

Reinforcement Learning ist ein leistungsstarkes Werkzeug zur Entwicklung personalisierter Behandlungsregime aus Gesundheitsdaten. Dennoch ist das Trainieren von Reinforcement-Learning-Agenten durch direkte Interaktionen mit Patienten aus ethischen Gründen oft unpraktisch. Eine Lösung besteht darin, Reinforcement-Learning-Agenten mit einem 'Umgebungsmodell' zu trainieren, das aus retrospektiven pasienbezogenen Daten gelernt wird und realistische Patientenverläufe simulieren kann. In dieser Studie schlagen wir Übergangsvariationalautoencoder (tVAE) vor, eine generative neuronale Netzwerkarchitektur, die eine direkte Abbildung zwischen Verteilungen über klinische Messungen zu benachbarten Zeitpunkten lernt. Im Gegensatz zu anderen Modellen erfordert das tVAE nur wenige verteilungstheoretische Annahmen und profitiert von identischen Trainings- und Testarchitekturen. Dieses Modell erzeugt realistischere Patientenverläufe als moderne sequentielle Entscheidungsfindungsmodelle und generative neuronale Netzwerke und kann verwendet werden, um effektive Behandlungsrichtlinien zu erlernen.