Artigo Convidado: VerilogEval: Avaliando Modelos de Linguagem Grande para Geração de Código Verilog

A crescente popularidade dos modelos de linguagem grande (LLMs) abriu caminho para sua aplicação em diversos domínios. Este artigo propõe uma estrutura de benchmark especificamente voltada para avaliar o desempenho dos LLMs no contexto da geração de código Verilog para design e verificação de hardware. Apresentamos um conjunto de dados de avaliação abrangente composto por 156 problemas do site instrucional de Verilog HDLBits. O conjunto de avaliação consiste em um conjunto diversificado de tarefas de geração de código Verilog, que variam de circuitos combinacionais simples a máquinas de estados finitas complexas. As conclusões de código Verilog podem ser testadas automaticamente quanto à correção funcional, comparando as saídas das simulações transitórias do design gerado com uma solução padrão. Também demonstramos que a capacidade de geração de código Verilog de modelos de linguagem pré-treinados pode ser aprimorada com o ajuste fino supervisionado, utilizando pares de problema-código sintético gerados por LLM como ponto de partida.