Tendencias en el consumo de energía de inferencia de IA: Más allá de las leyes de rendimiento vs. parámetros del aprendizaje profundo

Se dice que el progreso de algunos paradigmas de IA, como el aprendizaje profundo, está vinculado a un crecimiento exponencial en el número de parámetros. Hay muchos estudios que corroboran estas tendencias, pero ¿se traduce esto en un aumento exponencial en el consumo de energía? Para responder a esta pregunta, nos centramos en los costos de inferencia en lugar de los costos de entrenamiento, ya que estos últimos representan la mayor parte del esfuerzo computacional, solo por los factores multiplicativos. Además, aparte de las innovaciones algorítmicas, consideramos hardware más específico y potente (lo que conduce a un mayor rendimiento en FLOPS) que generalmente se acompaña de importantes optimizaciones en la eficiencia energética. También cambiamos el enfoque de la primera implementación de un artículo innovador hacia la versión consolidada de las técnicas uno o dos años después. Bajo esta perspectiva distintiva y comprensiva, analizamos modelos relevantes en las áreas de visión por computador y procesamiento de lenguaje natural: para un aumento sostenido en el rendimiento, observamos un crecimiento mucho más suave en el consumo de energía de lo que se anticipaba anteriormente. La única advertencia es, una vez más, el factor multiplicativo, ya que la IA futura aumenta su penetración y se vuelve más omnipresente.