Capacitando a Solicitação Natural Sem Exemplo em Modelos de Codificador através do Ajuste de Declarações

Embora Modelos de Linguagem de Grande Escala (LLMs) exibam capacidades notáveis em cenários sem exemplo e com poucos exemplos, frequentemente requerem tamanhos computacionalmente proibitivos. Em contrapartida, Modelos de Linguagem Mascarados (MLMs) menores como BERT e RoBERTa alcançam resultados de ponta através do ajuste fino, mas enfrentam dificuldades em se estender a configurações de poucos e zero exemplos devido às suas limitações arquitetônicas. Portanto, propomos o Ajuste de Declarações, uma técnica que modela tarefas discriminativas como um conjunto de declarações finitas e treina um modelo de Codificador para discriminar entre as declarações potenciais para determinar o rótulo. Realizamos o Ajuste de Declarações em várias tarefas para permitir a generalização entre tarefas. Resultados experimentais demonstram que o Ajuste de Declarações alcança um desempenho competitivo em comparação com LLMs de ponta, com significativamente menos parâmetros. Além disso, o estudo investiga o impacto de várias escolhas de design na generalização em poucos e zero exemplos, revelando que o Ajuste de Declarações pode alcançar um desempenho suficiente com dados de treinamento modestos e se beneficia da diversidade de tarefas e declarações para a generalização em tarefas não vistas.