EC-NAS: Benchmarks Tabulares Conscientes do Consumo de Energia para Busca de Arquitetura Neural

O consumo de energia na seleção, treinamento e implementação de modelos de aprendizado profundo viu um aumento significativo recentemente. Este trabalho tem como objetivo facilitar o design de modelos de aprendizado profundo energeticamente eficientes que exijam menos recursos computacionais e priorizem a sustentabilidade ambiental ao focar no consumo de energia. A busca de arquitetura neural (NAS) se beneficia de benchmarks tabulares, que avaliam estratégias de NAS de forma econômica por meio de estatísticas de desempenho pré-computadas. Defendemos a inclusão da eficiência energética como um critério de desempenho adicional na NAS. Para isso, introduzimos um benchmark tabular aprimorado que abrange dados sobre consumo de energia para arquiteturas variadas. O benchmark, denominado EC-NAS1, foi disponibilizado em um formato de código aberto para avançar a pesquisa em NAS consciente da energia. O EC-NAS incorpora um modelo substituto para prever o consumo de energia, ajudando a diminuir o gasto energético da criação do conjunto de dados. Nossas descobertas enfatizam o potencial do EC-NAS, aproveitando algoritmos de otimização multi-objetivo, revelando um equilíbrio entre consumo de energia e precisão. Isso sugere a viabilidade de identificar arquiteturas energeticamente eficientes com pouco ou nenhum compromisso na performance.