Entrenamiento de Redes de Boltzmann Profundas con Máquinas de Ising Sparsas

La desaceleración de la ley de Moore ha impulsado el desarrollo de paradigmas de computación no convencionales, como las máquinas de Ising especializadas diseñadas para resolver problemas de optimización combinatoria. En este documento, mostramos un nuevo dominio de aplicación para las máquinas de Ising basadas en bits probabilísticos (p-bits) al entrenar modelos de IA generativa profunda con ellas. Utilizando máquinas de Ising dispersas, asincrónicas y masivamente paralelas, entrenamos redes de Boltzmann profundas en una configuración híbrida de computación probabilística-clásica. Usamos el conjunto de datos completo de MNIST y Fashion MNIST (FMNIST) sin ninguna reducción y una versión reducida del conjunto de datos CIFAR-10 en topologías de red conscientes del hardware implementadas en matrices de puertas programables en campo (FPGA) de tamaño moderado. Para MNIST, nuestra máquina que utiliza solo 4,264 nodos (p-bits) y aproximadamente 30,000 parámetros logra la misma precisión de clasificación (90%) que una Máquina de Boltzmann Restringida (RBM) basada en software optimizado con aproximadamente 3.25 millones de parámetros. Resultados similares se obtienen para FMNIST y CIFAR-10. Adicionalmente, la red de Boltzmann profunda dispersa puede generar nuevos dígitos manuscritos y productos de moda, una tarea en la que la RBM de 3.25 millones de parámetros falla a pesar de alcanzar la misma precisión. Nuestra computadora híbrida toma un promedio de 50 a 64 mil millones de giros probabilísticos por segundo, lo cual es al menos un orden de magnitud más rápido que implementaciones superficialmente similares basadas en Unidades de Procesamiento Gráfico y Tensor (GPU/TPU). La arquitectura masivamente paralela puede realizar cómodamente el algoritmo de divergencia contrastiva (CD-n) con hasta n = 10 millones de barridos por actualización, más allá de las capacidades de las implementaciones de software existentes. Estos resultados demuestran el potencial de usar máquinas de Ising para entrenar tradicionalmente difíciles redes de Boltzmann generativas profundas, con una posible mejora adicional en realizaciones basadas en nanodispositivos.