Um Estudo sobre o Uso de LLMs Multimodais para Detecção de Erros Funcionais Não-Críticos em Aplicativos Android

Numerosos abordagens utilizando várias estratégias foram desenvolvidas para testar as interfaces gráficas do usuário (GUIs) de aplicativos móveis. No entanto, técnicas tradicionais de teste de GUI, como testes aleatórios e baseados em modelos, concentram-se principalmente em gerar sequências de teste que se destacam em alcançar alta cobertura de código, mas muitas vezes falham em atuar como oráculos de teste eficazes para a detecção de erros funcionais não-críticos (NCF). Para enfrentar essas limitações, este estudo investiga empiricamente a capacidade de aproveitar grandes modelos de linguagem (LLMs) como oráculos de teste para detectar erros NCF em aplicativos Android. Nossa intuição é que os corpora de treinamento dos LLMs, abrangendo amplo uso de aplicativos móveis e descrições de relatórios de erro, os habilitam com o conhecimento do domínio relevante para a detecção de erros NCF. Conduzimos um estudo empírico abrangente para explorar a eficácia dos LLMs como oráculos de teste para detectar erros NCF em aplicativos Android em 71 erros NCF bem documentados. Os resultados demonstraram que os LLMs alcançam uma taxa de detecção de erros de 49%, superando as ferramentas existentes para detectar erros NCF em aplicativos Android. Além disso, ao aproveitar os LLMs como oráculos de teste, conseguimos detectar 24 erros NCF desconhecidos anteriormente em 64 aplicativos Android, com quatro desses erros sendo confirmados ou corrigidos. No entanto, também identificamos limitações dos LLMs, principalmente relacionadas à degradação de desempenho, aleatoriedade inerente e falsos positivos. Nosso estudo destaca o potencial de aproveitar os LLMs como oráculos de teste para a detecção de erros NCF em Android e sugere direções para futuras pesquisas.