Un estudio de rendimiento del código generado por LLM en Leetcode

Este estudio evalúa la eficiencia de la generación de código por Modelos de Lenguaje Grande (LLMs) y mide su rendimiento en comparación con soluciones elaboradas por humanos utilizando un conjunto de datos de Leetcode. Comparamos 18 LLMs, considerando factores como la temperatura del modelo y la tasa de éxito, y su impacto en el rendimiento del código. Esta investigación introduce un método novedoso para medir y comparar la velocidad del código generado por LLM, revelando que los LLM producen código con un rendimiento comparable, independientemente del LLM adoptado. También encontramos que los LLM son capaces de generar código que, en promedio, es más eficiente que el código escrito por humanos. El artículo discute además el uso de Leetcode como un conjunto de datos de referencia, las limitaciones impuestas por la posible contaminación de datos y la fiabilidad de las mediciones de la plataforma. Creemos que nuestros hallazgos contribuyen a una mejor comprensión de las capacidades de los LLM en la generación de código y sientan las bases para futuras optimizaciones en el campo.