Circuits de sommes de carrés

Concevoir des modèles génératifs expressifs qui supportent une inférence exacte et efficace est une question essentielle dans le ML probabiliste. Les circuits probabilistes (PCs) offrent un cadre où ce compromis entre tractabilité et expressivité peut être analysé théoriquement. Récemment, des PCs carrés encodant des mélanges soustractifs via des paramètres négatifs ont émergé comme des modèles tractables pouvant être exponentiellement plus expressifs que les PCs monotoniques, c'est-à-dire les PCs avec uniquement des paramètres positifs. Dans cet article, nous fournissons une caractérisation théorique plus précise des relations d'expressivité parmi ces modèles. Tout d'abord, nous prouvons que les PCs carrés peuvent être moins expressifs que les PCs monotoniques. Deuxièmement, nous formalisons une nouvelle classe de PCs -- les PCs de sommes de carrés -- qui peuvent être exponentiellement plus expressifs que les PCs carrés et monotoniques. Autour des PCs de sommes de carrés, nous construisons une hiérarchie d'expressivité qui nous permet de précisément unifier et séparer différentes classes de modèles tractables telles que les machines de Born et les modèles PSD, ainsi que d'autres modèles probabilistes tractables récemment introduits utilisant des paramètres complexes. Enfin, nous montrons empiriquement l'efficacité des circuits de sommes de carrés dans l'estimation de distribution.