Flux de Bernstein pour des postériors flexibles dans le Bayesian variational

Résumé L'inférence variationnelle en boîte noire (BBVI) est une technique pour approximer le postérieur des modèles bayésiens par optimisation. Comme pour MCMC, l'utilisateur n'a besoin de spécifier que le modèle ; ensuite, la procédure d'inférence est effectuée automatiquement. Contrairement à MCMC, BBVI s'adapte à de nombreuses observations, est plus rapide pour certaines applications et peut tirer parti de cadres d'apprentissage profond hautement optimisés, car il peut être formulé comme une tâche de minimisation. Dans le cas de postériors complexes, cependant, d'autres approches BBVI à la pointe de la technologie donnent souvent des approximations postérieures insatisfaisantes. Cet article présente l'inférence variationnelle par flux de Bernstein (BF-VI), une méthode robuste et facile à utiliser, suffisamment flexible pour approximer des postériors multivariés complexes. BF-VI combine des idées des flux normalisants et des modèles de transformation basés sur les polynômes de Bernstein. Dans des expériences de référence, nous comparons les solutions BF-VI avec les postériors exacts, les solutions MCMC et les méthodes BBVI à la pointe de la technologie, y compris le BBVI basé sur les flux normalisants. Nous montrons que pour les modèles de faible dimension, BF-VI approxime avec précision le véritable postérieur ; dans les modèles de dimension plus élevée, BF-VI se compare favorablement à d'autres méthodes BBVI. De plus, en utilisant BF-VI, nous développons un modèle bayésien pour les données du défi mélanome semi-structuré, combinant une partie modèle CNN pour les données d'image avec une partie modèle interprétable pour les données tabulaires, et démontrons, pour la première fois, l'utilisation du BBVI dans des modèles semi-structurés.