Melhorando a Geração de Texto Abertamente via Decodificação Adaptativa

Os modelos de linguagem atuais decodificam texto token por token de acordo com uma distribuição probabilística, e determinar os candidatos apropriados para o próximo token é crucial para garantir a qualidade da geração. Este estudo introduz a decodificação adaptativa, um mecanismo que capacita os modelos de linguagem a determinar um conjunto de candidatos sensato durante o processo de geração de forma dinâmica. Especificamente, introduzimos uma métrica baseada em entropia chamada confiança e conceptualizamos a determinação do conjunto de candidatos ótimo como um processo de aumento de confiança. A racionalidade de incluir um token no conjunto de candidatos é avaliada ao se aproveitar o aumento de confiança, permitindo que o modelo determine de forma adaptativa o conjunto de candidatos mais adequado. Os resultados experimentais revelam que nosso método alcança um MAUVE mais alto e diversidade nas tarefas de geração de histórias, mantendo certa coerência, destacando sua superioridade em relação aos algoritmos existentes. O código está disponível em https://github.com/zwhong714/adaptivedecoding.