Un estudio sistemático de reparación automática de programas: arreglando 55 de 105 errores por 8 cada uno

Hay más errores en programas del mundo real de los que los programadores humanos pueden abordar de manera realista. Este documento evalúa dos preguntas de investigación: “¿Qué fracción de errores puede repararse automáticamente?” y “¿Cuánto cuesta reparar un error automáticamente?” En trabajos anteriores, presentamos GenProg, que utiliza programación genética para reparar defectos en programas C listos para usar. Para responder a estas preguntas,: (1) proponemos mejoras algorítmicas novedosas a GenProg que permiten escalar a programas grandes y encontrar reparaciones un 68% más a menudo, (2) explotamos el paralelismo inherente de GenProg utilizando recursos de computación en la nube para proporcionar medidas de costo fundamentadas y competitivas con humanos, y (3) generamos un gran conjunto de referencia indicativo para utilizar en evaluaciones sistemáticas. Evaluamos GenProg en 105 defectos de 8 programas de código abierto que totalizan 5.1 millones de líneas de código e involucran 10,193 casos de prueba. GenProg repara automáticamente 55 de esos 105 defectos. Hasta donde sabemos, esta evaluación es la más grande disponible de su tipo, y a menudo es dos órdenes de magnitud más grande que trabajos anteriores en términos de tamaño de código o tamaño de conjunto de pruebas o recuento de defectos. Los precios de computación en la nube pública permiten que nuestras 105 ejecuciones se repliquen por 403; una reparación exitosa se completa en 96 minutos y cuesta 7.32, en promedio.