Tendências no consumo de energia em inferência de IA: Além das leis de desempenho vs. parâmetros do aprendizado profundo

O progresso de alguns paradigmas de IA, como o aprendizado profundo, é dito estar ligado a um crescimento exponencial no número de parâmetros. Muitos estudos corroboram essas tendências, mas isso se traduz em um aumento exponencial no consumo de energia? Para responder a essa pergunta, focamos nos custos de inferência em vez dos custos de treinamento, já que os primeiros representam a maior parte do esforço computacional, exclusivamente devido aos fatores multiplicativos. Além disso, aparte das inovações algorítmicas, consideramos hardware mais específico e poderoso (levando a mais FLOPS) que geralmente é acompanhado de importantes otimizações de eficiência energética. Também movemos o foco da primeira implementação de um artigo revolucionário para a versão consolidada das técnicas um ou dois anos depois. Sob esta perspectiva distinta e abrangente, analisamos modelos relevantes nas áreas de visão computacional e processamento de linguagem natural: para um aumento sustentado no desempenho, observamos um crescimento muito mais suave no consumo de energia do que anteriormente antecipado. A única ressalva é, mais uma vez, o fator multiplicativo, à medida que a IA futura aumenta a penetração e se torna mais presente.