Une machine de Boltzmann restreinte infinie

Nous présentons une construction mathématique pour la machine de Boltzmann restreinte (RBM) qui ne nécessite pas de spécifier le nombre d'unités cachées. En fait, la taille de la couche cachée est adaptative et peut croître pendant l'entraînement. Cela est obtenu en étendant d'abord la RBM pour qu'elle soit sensible à l'ordre de ses unités cachées. Ensuite, avec une définition soigneusement choisie de la fonction d'énergie, nous montrons que la limite d'un nombre infini d'unités cachées est bien définie. Comme avec la RBM, un entraînement par maximum de vraisemblance approximatif peut être effectué, ce qui entraîne un algorithme qui ajoute naturellement et de manière adaptative des unités cachées entraînées pendant l'apprentissage. Nous étudions empiriquement le comportement de cette RBM infinie, montrant que sa performance est compétitive par rapport à celle de la RBM, tout en ne nécessitant pas le réglage d'une taille de couche cachée.