Complementação de código aumentada por recuperação para projetos locais usando grandes modelos de linguagem

O uso de grandes modelos de linguagem (LLMs) está se tornando cada vez mais comum entre desenvolvedores de software. No entanto, requisitos de privacidade e computação são problemáticos com soluções comerciais e o uso de LLMs. Neste trabalho, focamos no uso de LLMs com cerca de 160 milhões de parâmetros que são adequados para execução local e aumento com recuperação de projetos locais. Treinamos dois modelos baseados na arquitetura transformer, o modelo generativo GPT-2 e o modelo RETRO adaptado para recuperação, em arquivos Python de código aberto, e avaliamos e comparamos empiricamente, confirmando os benefícios da recuperação baseada em incorporação vetorial. Além disso, melhoramos o desempenho de nossos modelos com geração aumentada por recuperação em-contexto, que recupera trechos de código com base na similaridade de Jaccard dos tokens. Avaliamos a geração aumentada por recuperação em-contexto em modelos maiores e concluímos que, apesar de sua simplicidade, a abordagem é mais adequada do que o uso da arquitetura RETRO. Destacamos o papel chave da tokenização adequada na realização do potencial completo dos LLMs na complementação de código.