Estudiando el impacto de los ruidos en los datos de rotura de compilaciones

Se ha investigado mucho sobre las razones comunes de las roturas de compilaciones. Sin embargo, las investigaciones previas han prestado poca atención a las compilaciones que pueden romperse debido a razones que probablemente no están relacionadas con las actividades de desarrollo. Por ejemplo, las compilaciones de Integración Continua (CI) pueden romperse debido a errores de tiempo de espera o de conexión durante la generación de la compilación. Tales tipos de roturas de compilación pueden introducir ruidos en los datos de rotura de compilaciones. No tener en cuenta tales ruidos puede llevar a resultados engañosos al estudiar compilaciones de CI. En este artículo, proponemos tres criterios para identificar roturas de compilación que potencialmente pueden introducir ruidos en los datos de rotura de compilaciones. Aplicamos estos criterios a un conjunto de datos de 350,246 compilaciones de 153 proyectos de GitHub que están vinculados con Travis CI. Nuestros resultados revelan que el 33 por ciento de las roturas de compilación se deben a factores ambientales (por ejemplo, errores en servidores de CI), el 29 por ciento se deben a errores (no corregidos) en compilaciones anteriores, y el 9 por ciento se deben a trabajos de compilación que posteriormente fueron considerados por los desarrolladores como ruidosos (hay un solapamiento del 17 por ciento entre estos tres tipos de roturas). Medimos el impacto de los ruidos en los datos de rotura de compilaciones en la modelación de roturas de compilaciones. Observamos que los modelos que utilizan datos de rotura de compilaciones no depurados pueden llevar a asociaciones engañosas entre las roturas de compilaciones y las actividades de desarrollo (por ejemplo, el papel del desarrollador). Sin embargo, tales asociaciones no se podrían observar después de eliminar las roturas de compilación ruidosas. Además, replicamos un estudio previo que investiga la asociación entre las roturas de compilaciones y las actividades de desarrollo utilizando datos de 14 proyectos de GitHub. Observamos que algunas observaciones reportadas por el estudio previo (por ejemplo, las solicitudes de extracción causan más roturas) no se sostienen después de eliminar los ruidos de los datos de rotura de compilaciones.