Abordando la maldición de la dimensionalidad en distribuciones conjuntas utilizando redes neuronales

La maldición de la dimensionalidad es severa al modelar datos discretos de alta dimensión: el número de combinaciones posibles de las variables explota exponencialmente. Proponemos una arquitectura para modelar datos de alta dimensión que requiere recursos (parámetros y cálculos) que crecen a lo sumo como el cuadrado del número de variables, utilizando una red neuronal multicapa para representar la distribución conjunta de las variables como el producto de distribuciones condicionales. La red neuronal puede interpretarse como un modelo gráfico sin variables aleatorias ocultas, pero en el que las distribuciones condicionales están vinculadas a través de las unidades ocultas. La conectividad de la red neuronal puede ser podada utilizando pruebas de dependencia entre las variables (reduciendo así significativamente el número de parámetros). Experimentos en la modelización de la distribución de varios conjuntos de datos discretos muestran mejoras estadísticamente significativas sobre otros métodos como naive Bayes y redes bayesianas comparables, y muestran que se pueden obtener mejoras significativas podando la red.