La computación de reservorio es un marco poderoso para el procesamiento de información en tiempo real, caracterizado por su alta capacidad computacional y aprendizaje rápido, con aplicaciones que van desde el aprendizaje automático hasta sistemas biológicos. En este documento, investigamos cómo la capacidad computacional de las redes neuronales recurrentes de reservorio (RNNs) se escala con un número creciente de neuronas de lectura. Primero, demostramos que la capacidad de memoria de una RNN de reservorio escala sublinealmente con el número de neuronas de lectura. Para elucidarle esta observación, desarrollamos un marco teórico para derivar analíticamente la capacidad de memoria que incorpora el efecto de las correlaciones neuronales, que han sido ignoradas en trabajos teóricos anteriores por simplicidad analítica. Nuestra teoría relaciona con éxito el escalado sublineal de la capacidad de memoria con la fuerza de las correlaciones neuronales. Además, mostramos que este principio se sostiene en diversos tipos de RNNs, incluso aquellos más allá de la aplicabilidad directa de nuestra teoría. A continuación, investigamos numéricamente el comportamiento de escalado de la capacidad computacional no lineal, que, junto a la capacidad de memoria, es crucial para el rendimiento computacional general. Nuestras simulaciones numéricas revelan que a medida que el crecimiento de la capacidad de memoria se vuelve sublineal, aumentar el número de neuronas de lectura permite sucesivamente el procesamiento no lineal en órdenes polinómicos progresivamente más altos. Nuestro marco teórico sugiere que las correlaciones neuronales rigen no solo la capacidad de memoria, sino también el crecimiento secuencial de las capacidades computacionales no lineales. Nuestros hallazgos establecen una base para diseñar computación de reservorio escalable y rentable, proporcionando información sobre la interacción entre las correlaciones neuronales, la memoria lineal y el procesamiento no lineal.
Takasu et al. (Mar,) estudiaron esta cuestión.