CodeXGLUE: Um Conjunto de Dados de Referência para Aprendizado de Máquina em Compreensão e Geração de Código

Conjuntos de dados de referência têm um impacto significativo na aceleração da pesquisa em tarefas de linguagens de programação. Neste artigo, apresentamos o CodeXGLUE, um conjunto de dados de referência para estimular a pesquisa em aprendizado de máquina para compreensão e geração de programas. O CodeXGLUE inclui uma coleção de 10 tarefas em 14 conjuntos de dados e uma plataforma para avaliação e comparação de modelos. O CodeXGLUE também apresenta três sistemas de referência, incluindo os modelos estilo BERT, estilo GPT e Encoder-Decoder, para facilitar o uso da plataforma pelos pesquisadores. A disponibilidade de tais dados e referências pode ajudar no desenvolvimento e validação de novos métodos que podem ser aplicados a vários problemas de compreensão e geração de programas.