Evolución de redes neuronales artificiales con retroalimentación

Las redes neuronales en el cerebro están dominadas por conexiones de retroalimentación que a veces superan el 60%, las cuales, en su mayoría, tienen pesos sinápticos pequeños. A diferencia de esto, se sabe poco sobre cómo introducir la retroalimentación en redes neuronales artificiales. Aquí utilizamos la entropía de transferencia en las rutas de avance de redes profundas para identificar candidatos a retroalimentación entre las capas convolucionales y determinar sus pesos sinápticos finales utilizando programación genética. Esto añade aproximadamente un 70% más de conexiones a estas capas, todas con pesos muy pequeños. No obstante, el rendimiento mejora sustancialmente en diferentes tareas de referencia estándar y en diferentes redes. Para verificar que este efecto es genérico, utilizamos 36,000 configuraciones de redes neuronales convencionales pequeñas (2-10 capas ocultas) en una tarea de clasificación no lineal y seleccionamos las redes de avance con mejor rendimiento. Luego mostramos que la retroalimentación reduce la entropía total en estas redes, lo que siempre conduce a un aumento en el rendimiento. Este método puede, por lo tanto, complementar técnicas estándar (por ejemplo, retropropagación de errores) añadiendo una nueva calidad al aprendizaje de redes.