Avancées en Inférence Variationnelle

De nombreux algorithmes modernes d'apprentissage automatique non supervisé ou semi-supervisé reposent sur des modèles probabilistes bayésiens. Ces modèles sont généralement intractables et nécessitent donc une inférence approximative. L'inférence variationnelle (IV) nous permet d'approximer un posterior bayésien en haute dimension avec une distribution variationnelle plus simple en résolvant un problème d'optimisation. Cette approche a été appliquée avec succès à divers modèles et à des applications à grande échelle. Dans cette revue, nous présentons un aperçu des tendances récentes en inférence variationnelle. Nous introduisons d'abord l'inférence variationnelle par champ moyen standard, puis nous passons en revue les avancées récentes en nous concentrant sur les aspects suivants : (a) IV évolutive, qui inclut des approximations stochastiques, (b) IV générique, qui étend l'applicabilité de l'IV à une grande classe de modèles par ailleurs intractables, tels que les modèles non conjugués, (c) IV précise, qui inclut des modèles variationnels au-delà de l'approximation du champ moyen ou avec des divergences atypiques, et (d) IV amortie, qui met en œuvre l'inférence sur des variables latentes locales avec des réseaux d'inférence. Enfin, nous fournissons un résumé des directions prometteuses pour la recherche future.