Réseaux neuronaux tensoriels variationnels pour l'apprentissage profond

Les réseaux neuronaux profonds (NN) rencontrent des limites de scalabilité lorsqu'ils sont confrontés à un vaste éventail de neurones, ce qui limite leur profondeur de réseau réalisable. Pour relever ce défi, nous proposons l'intégration de réseaux tensoriels (TN) dans des cadres de NN, combinée à une technique d'entraînement inspirée du DMRG variationnel. Cela aboutit à une architecture de réseau neural tensoriel (TNN) évolutive capable d'une formation efficace sur un grand espace de paramètres. Notre algorithme variationnel utilise une technique de descente de gradient local, permettant le calcul manuel ou automatique des gradients tensoriels, facilitant la conception de modèles TNN hybrides avec des couches denses et tensoriales combinées. Notre algorithme d'entraînement fournit également un aperçu de la structure d'enchevêtrement des poids entraînables tensorisés et de la corrélation entre les paramètres du modèle. Nous validons la précision et l'efficacité de notre méthode en concevant des modèles TNN et en fournissant des résultats de référence pour des régressions linéaires et non linéaires, la classification de données et la reconnaissance d'images sur les chiffres manuscrits MNIST.