Modelos de Linguagem Grandes Podem Conectar os Pontos: Explorando Bugs de Otimização de Modelos com Prompts Conscientes do Conhecimento de Domínio

A otimização de modelos, como poda e quantização, se tornou a fase de pré-implantação de facto ao implantar modelos de aprendizado profundo (DL) em plataformas com recursos limitados. No entanto, a complexidade dos modelos DL muitas vezes leva a bugs não triviais em otimizadores de modelos, conhecidos como bugs de otimização de modelos (MOBs). Esses MOBs são caracterizados por envolver tipos de dados complexos e estruturas de camadas inerentes aos modelos DL, causando obstáculos significativos na detecção deles através de técnicas tradicionais de análise estática e de teste dinâmico. Neste trabalho, aproveitamos Modelos de Linguagem Grandes (LLMs) com técnicas de prompting para gerar casos de teste para detecção de MOBs. Exploramos como os LLMs podem entender o domínio dos MOBs a partir de instâncias de bugs dispersas e generalizar para detectar novos, um paradigma que chamamos de concentração e difusão. Extraímos o conhecimento do domínio MOB a partir dos artefatos de MOBs conhecidos, como seus relatórios de problemas e correções, e projetamos prompts conscientes do conhecimento para guiar os LLMs na geração de casos de teste eficazes. O conhecimento do domínio da estrutura do código e da descrição do erro fornece representações precisas e detalhadas do domínio do problema, ou seja, a concentração, e direções heurísticas para gerar casos de teste inovadores, ou seja, a difusão. Nossa abordagem é implementada como uma ferramenta chamada YanHui e comparada com técnicas de fuzzing baseadas em LLM existentes. Casos de teste gerados pelo YanHui demonstram capacidade aprimorada para encontrar combinações relevantes de API e dados para expor MOBs, levando a um aumento de 11,4% na geração de código sintaticamente válido e um aumento de 22,3% na geração de código específico para otimização de modelos. YanHui detecta 17 MOBs, e entre eles, cinco são MOBs profundos que são difíceis de revelar sem nossa técnica de prompting.