Avaliando Bugs Sintéticos

O teste de fuzzing tem sido usado para encontrar bugs em programas desde a década de 1990, mas, apesar de décadas de pesquisa dedicada, ainda não há consenso sobre quais técnicas de fuzzing funcionam melhor. Uma razão para isso é a escassez de dados de referência (ground truth): bugs em programas reais com causas-raiz conhecidas e entradas desencadeadoras são difíceis de coletar em uma escala significativa. Tecnologias de injeção de bugs que adicionam bugs sintéticos a programas reais parecem oferecer uma solução, mas as diferenças na detecção desses bugs sintéticos versus bugs orgânicos não foram exploradas anteriormente em larga escala. Usando mais de 80 anos de tempo de CPU, executamos oito fuzzers em 20 alvos da competição de detecção de bugs Rode0day e do corpus LAVA-M. Os experimentos foram padronizados em relação aos recursos computacionais e às métricas coletadas. Esses experimentos mostram diferenças no desempenho dos fuzzers, bem como o impacto de várias opções de configuração. Por exemplo, fica claro que a integração da execução simbólica com o fuzzing mutacional é muito eficaz e que o uso de dicionários melhora o desempenho. Outras conclusões são menos categóricas; por exemplo, nenhum fuzzer superou todos os outros em todos os testes. Vale destacar que nenhum fuzzer encontrou bugs orgânicos (isto é, relatados em uma CVE), apesar de 50 desses bugs estarem disponíveis para descoberta no corpus de fuzzing. Uma análise detalhada dos resultados revelou uma possível explicação: uma diferença drástica entre onde os bugs sintéticos e orgânicos residem em relação ao "caminho principal" descoberto pelos fuzzers. Constatamos que atualizações recentes nos sistemas de injeção de bugs tornaram os bugs sintéticos mais difíceis de descobrir, mas eles ainda são significativamente mais fáceis de encontrar do que os bugs orgânicos em nossos programas-alvo. Por fim, este estudo identifica falhas nas técnicas de injeção de bugs e sugere uma série de eixos ao longo dos quais os bugs sintéticos devem ser aprimorados.