Efectos del Descenso por Gradientes en la Búsqueda de Arquitectura Neural Diferencial: Una Encuesta

El Descenso por Gradientes, una forma efectiva de buscar el mínimo local de una función, puede minimizar la pérdida de entrenamiento y validación de arquitecturas neuronales y también puede ser incitado en un orden apropiado para disminuir el costo de búsqueda en la búsqueda de arquitecturas neuronales. En las tendencias recientes, la búsqueda de arquitecturas neuronales (NAS) se utiliza enormemente para construir una arquitectura automática para una tarea específica. La mayoría de los métodos de búsqueda de arquitectura neuronal que han tenido buen rendimiento han adoptado el aprendizaje por refuerzo, algoritmos evolutivos o algoritmos de descenso por gradientes para encontrar la arquitectura candidata que mejor se desempeña. Entre estos métodos, los enfoques de búsqueda de arquitectura basados en el descenso por gradientes superan a todos los demás métodos en términos de eficiencia, simplicidad, costo computacional y error de validación. En vista de esto, es necesario realizar una encuesta en profundidad para cubrir la utilidad del método de descenso por gradientes y cómo esto puede beneficiar la búsqueda de arquitecturas neuronales. Comenzamos nuestra encuesta con conceptos básicos sobre la búsqueda de arquitecturas neuronales, el descenso por gradientes y sus propiedades únicas. Luego, nuestra encuesta profundiza en el impacto del método de descenso por gradientes en NAS y explora el efecto del descenso por gradientes en el proceso de búsqueda para generar la arquitectura candidata. Al mismo tiempo, nuestra encuesta revisa los enfoques de búsqueda basados en gradientes más utilizados en NAS. Finalmente, proporcionamos los actuales desafíos de investigación y problemas abiertos en los enfoques basados en NAS, que deben abordarse en investigaciones futuras.