EC-NAS: Benchmarks Tabulares Conscientes del Consumo de Energía para la Búsqueda de Arquitecturas Neurales

El consumo de energía derivado de la selección, entrenamiento y despliegue de modelos de aprendizaje profundo ha visto un aumento significativo recientemente. Este trabajo tiene como objetivo facilitar el diseño de modelos de aprendizaje profundo energéticamente eficientes que requieran menos recursos computacionales y prioricen la sostenibilidad ambiental al centrarse en el consumo de energía. La búsqueda de arquitecturas neuronales (NAS) se beneficia de benchmarks tabulares, que evalúan las estrategias de NAS de manera rentable a través de estadísticas de rendimiento precomputadas. Abogamos por incluir la eficiencia energética como un criterio de rendimiento adicional en NAS. Con este fin, presentamos un benchmark tabular mejorado que abarca datos sobre el consumo de energía para diversas arquitecturas. El benchmark, designado como EC-NAS1, se ha puesto a disposición en un formato de código abierto para avanzar en la investigación en NAS consciente de la energía. EC-NAS incorpora un modelo sustituto para predecir el consumo de energía, ayudando a disminuir el gasto energético en la creación del conjunto de datos. Nuestros hallazgos enfatizan el potencial de EC-NAS al aprovechar algoritmos de optimización multiobjetivo, revelando un equilibrio entre el uso de energía y la precisión. Esto sugiere la viabilidad de identificar arquitecturas con bajo consumo de energía con poco o ningún compromiso en el rendimiento.