Estimación Óptima Casi-Minimax Con Redes Neuronales ReLU Superficiales

Estudiamos el problema de estimar una función desconocida a partir de datos ruidosos utilizando redes neuronales ReLU superficiales. Los estimadores que estudiamos minimizan la suma de los errores cuadráticos de ajuste de datos más un término de regularización proporcional a la norma euclidiana cuadrada de los pesos de la red. Esta minimización corresponde al enfoque común de entrenar una red neuronal con decaimiento de peso. Cuantificamos el rendimiento (error cuadrático medio) de estos estimadores de redes neuronales cuando la función generadora de datos pertenece al espacio de variación acotada de Radon de segundo orden. Este espacio de funciones fue propuesto recientemente como el espacio de funciones natural asociado con redes neuronales ReLU superficiales. Derivamos un límite inferior minimax para el problema de estimación para este espacio de funciones y mostramos que los estimadores de redes neuronales son óptimos minimax hasta factores logarítmicos. Esta tasa minimax es inmune a la maldición de la dimensionalidad. Cuantificamos una brecha explícita entre redes neuronales y métodos lineales (que incluyen métodos de núcleo) al derivar un límite inferior minimax lineal para el problema de estimación, mostrando que los métodos lineales necesariamente sufren la maldición de la dimensionalidad en este espacio de funciones. Como resultado, este artículo arroja luz sobre el fenómeno de que las redes neuronales parecen romper la maldición de la dimensionalidad.